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(57) Abstract 

A method and device for real-time detection, location and 
determination of the speed and direction of movement of an area 
of relative movement in a scene, are disclosed. According to 
the method, the digital video input signal S(PI) is subjected to 
a time-based processing step wherein changes in the value of 
each pixel between one frame and the corresponding previous 
frame are used to generate a binary signal DP representing a 
significant change or the lack thereof, and a digital signal CO 
representing the degree of change; and to a spatial processing 
step wherein both signals arc distributed over a matrix for a 
single frame passing therethrough, and the relative movement 
to be sensed as well as the parameters thereof are deduced from 
the resulting matrix distribution. For this purpose, the device 
comprises a time processing unit (15) combined with a memory 
(16) and a spatial processing unit (17) combined with a delay 
unit (18). Clock (20) and control (19) units are provided for clc 




:ing the operation of units (15) and (17). 



(57) Abrege* 

LMnvention a pour objet un proc6d6 et un dispositif, fonctionnant en temps reel, pour le reperage, la localisation, la determination de 
la vitesse et de la direction du defacement en temps reel d'une zone en mouvement relatif dans une scene. Le precede realise un traitement 
temporel du signal video numenque d 'entree S(PI), consistant a deduire, des variations de la valeur de chaque pixel entrc une trame et la 
trame correspondante anterieure, un signal binaire DP de variation ou non-variation significative et un signal numenque CO repr6sentauf 
de rimportance de eelte variation, et un traitement spatial, consistant a repartir sur une matrice par roulement ces deux signaux pour une 
meme trame qui defile a travers la matrice et a deduire de cette repartition matricielle le mouvement relatif recherche et ses parametres. A 
cet effet, le dispositif comporte une unite* de traitement temporel (15) associee a une memoire (16) ct une unit6 de traitement spatial (17) 
associee a une unite a retards (18); les unite's d'horloge (20) et de commande (19) cadencant le fonctionnement des unites (15 et 17). 
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PROCEDE ET DISPOSITIF FONCTIONNANT EN TEMPS REEL, POUR LE 
REPERAGE ET LA LOCALISATION D'UNE ZONE EN MOUVEMENT 
RELATFF DANS UNE SCENE, AINSI QUE POUR LA DETERMINATION DE 
LA VITESSE ET DE LA DIRECTION DU DEPLACEMENT 

5 

La presente invention a pour objet un procede et un dispositif permettant de reperer et de 
localiser une zone en mouvement relatif dans une scene et de determiner la vitesse et la direction 
orientee de ce mouvement relatif, et ceci en temps reel. 

Par mouvement relatif, on entend aussi bien le mouvement de ladite zone (qui peut etre 
10 constitute par un «objet», au sens le plus large incluant un etre vivant ou une portion d'un etre 
vivant, une main par exemple) dans un environnement sensiblement immobile, que Fimmobilite 
plus ou moins complete de ladite zone (ou «objet») dans un environnement en deplacement au 
moins parti el. 

L'invention est relative au traitement d'un signal video numerique en provenance d'un 
15 systeme d'observation, constitue par un systeme optique d'entree ou objectif, apte a former une 
image de la scene observee, et par un systeme de conversion optoelectronique ou capteur, apte a 
convert ir ladite image qu'il recoit en un signal numerique de sortie. 

En general le systeme d'observation est constitue par une camera video ou camescope, qui 
observe la scene a surveiller (ledit signal de sortie numerique etant alors constitue par le signal 
20 video numerique debite par une camera a sortie numerique ou par la sortie d'un convertisseur 
analogique/numerique dont Tentree est connectee a la sortie d'une camera debitant un signal 
video analogique). 

Le systeme d'observation pourrait egalement etre constitue par I'objectif d'un instrument 
d'optique (jumelles, lunette d'observation, viseur), dont on preleve au moins une portion du 
25 faisceau lumineux sortant, et par un capteur photo-elect ronique, de type CCD ou CMOS par 
exemple, avec 1'electronique associee habituelle, capteur recevant l'image formee par ladite 
portion de faisceau lumineux et le convertissant, par 1'electronique associee, en un signal video 
numerique de sortie. 

L'invention consiste essentiellement a traiter le signal video numerique de sortie d'un 
30 systeme d'observation, notamment d'une camera video, a sortie numerique pour en deduire des 
signaux signalant 1'existence et la localisation d'une zone en deplacement relatif dans ladite scene, 
ainsi que la vitesse et la direction orientee du deplacement dans le cas ou ladite zone se deplace 
eflfectivement dans ladite scene relativement a un environnement sensiblement immobile, et ceci en 
temps reel. 
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Le systeme le plus perfectionne pour reperer et localiser un objet en mouvement relatif et 
determiner sa vitesse et sa direction orientee de deplacement est le systeme de la vision animale 
ou humaine, par exemple d'un chasseur a Taffut localisant le deplacement d'un animal, ainsi que 
la direction et la vitesse de ce deplacement. 

5 Dans la technique anterieure on a propose des dispositifs de surveillance du type retine 

artificielle, soit analogiques (Giocomo Indiveri et al. in Proceedings of MicroNeuro*96 p. 15 a 
22), soit numeriques (Pierre-Francois Ruedi in Proceedings of MicroNeuro'96 p. 23 a 29), mais il 
s'agit dans le premier article de detecteurs et unites analogiques a structure complex e et dans le 
second article de moyens de reperage des bords d'un objet ; en outre dans les dispositifs decrits 

10 on a recours a des memoires tres rapides et de grande capacite pour pouvoir operer en temps reel, 
et on obtient des renseignements limites en ce qui concerne les zones ou objets en mouvement. 

On a ainsi propose de memoriser, dans une premiere memoire bi-dimensionnelle, le signal 
d'une trame en provenance d'une camera video, ou analogue, constitue par une suite de donnees 
concernant les pixels representatifs de la scene observee par la camera a un instant / 0 , puis, dans 

15 une deuxieme memoire bi-dimensionnelle, le signal video, pour la trame correspondante suivante, 
representatif de ladite scene a un instant /j. Si un objet s'est deplace entre / 0 et t u on determine, 
d'une part, la distance d parcourue par celui-ci dans la scene entre /| et t 0 et, d'autre part, la duree 
T = t\ - t 0 entre les debuts de deux trames correspondantes successives relatives aux memes 
pixels. La vitesse du deplacement est alors egale a d/T. Un tel systeme necessite une capacite 

20 totale de memoire tres importante si on desire obtenir des indications precises de vitesse et de 
direction orientee caracterisant le deplacement. En outre, un certain retard existe en ce qui 
concerne Pobtention des indications de vitesse et de direction du deplacement ; en effet de telles 
informations ne sont disponibles qu'a Tinstant / t + R, en appelant R la duree des calculs portant 
sur Tintervalle h - /j. Ce double inconvenient (necessite d'une grande capacite de memoire et 

25 retard a Tobtention des informations desirees) limite les applications d'un tel systeme. 

Par ailleurs le brevet fran$ais No 2.611.063, dont Tun des inventeurs (Monsieur Patrick 
Pirim) est Tinventeur de la presente invention, decrit un procede et un dispositif de traitement en 
temps reel d'un flot de donnees sequence, constitue en particulier par le signal de sortie d'un 
camescope, afin de realiser une compression des donnees. Selon ce brevet anterieur, on forme 

30 Thistogramme des niveaux du signal suivant une loi de classification pour une premiere sequence, 
on memorise la fonction de Gauss representative associee a cet histogramme, dont on extrait les 
niveaux maximum et minimum, on compare les niveaux de la sequence ulterieure, ou deuxieme 
sequence, aux dits niveaux du signal pour la premiere sequence, memorise avec une constante de 
temps constante, identique pour chaque pixel, on engendre un signal binaire de classification qui 
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caracterise ladite sequence suivante par rapport a la loi de classification, on engendre, a partir de 
ce signal binaire, un signal auxiliaire representatif de la duree et de la position d'une plage de 
valeurs significatives et enfin on engendre, a partir dudit signal auxiliaire, un signal de localisation 
de la plage ayant la plus longue duree, dite plage dominante; et on repete ces operations pour les 
sequences suivantes du signal sequence. Ce procede et ce dispositif de classification permettent 
une compression des donnees en ne retenant que les parametres interessants du flot traite de 
donnees sequence. En particulier ce procede permet de traiter un signal video numerique 
representatif d'une image video en vue d'extraire et localiser au moins une caracteristique d'au 
moins une zone de ladite image. On peut ainsi classer les niveaux de luminance et/ou de 
chrominance du signal et caracteriser et localiser un objet dans l'image. 

Quant au brevet des Etats-Unis n° 5 488 430, il realise la detection et 1'estimation d'un 
deplacement en determinant separement les changements horizontaux et verticaux de l'image de 
la zone observee. On y utilise des signaux de difference pour detecter des deplacements de la 
droite vers la gauche, ou inversement et du haut vers le bas f ou inversement, dans les directions 
horizontale et verticale respectivement, en effectuant la fonction logique OU EXCLUSIF sur des 
signaux de difference horizontaux/verticaux et des signaux de difference de trames, d'une part, et 
en utilisant un rapport des sommes de signaux horizontaux/verticaux et des sommes des signaux 
de difference de trames par rapport a une fenetre K x 3, d'autre part. Dans ce brevet 
U.S. 5 488 430 on utilise les valeurs calculees de Pimage suivant les deux directions orthogonales 
horizontale et verticale avec un ecart repetitif identique K dans ces deux directions orthogonales, 
cet ecart K etant defini en fonction des vitesses de deplacement qu'on cherche a determiner. Le 
dispositif selon ce brevet U.S. determine la direction des mouvemems suivant chacune des deux 
directions orthogonales en appliquant aux signaux de difference un ensemble d'operations de 
calcul indiquees aux colonnes 12 (en debut et en fin) et 13 (en debut) qui necessite des operateurs 
electroniques, notamment de division, de multiplication et de sommation, fort complexes (done 
difficiles a realiser) ; des operateurs complexes supplementaires sont en outre necessaires pour 
obtenir, a partir des projections sur les deux axes horizontal et vertical, la vitesse et la direction 
orientee du deplacement (extraction de racine carree pour obtenir 1'amplitude de la vitesse et 
calcul de la fonction arctg pour obtenir la direction orientee). On ne prevoit pas, enfin, dans le 
brevet 5 488 430 la mise en oeuvre d'un lissage des valeurs de pixel au moyen d'une constante 
de temps, variable pour chaque pixel, afin de compenser les variations trop rapides de ces valeurs. 

Au contraire, la mise en oeuvre du procede selon I'invention est realisee au moyen d'un 
dispositif, faisant Tobjet de Pinvention, qui est de type numerique, avee une structure relativement 
simple et une memoire de capacite relativement reduite. et permet Tobtention rapide des 



WO 98/05002 



PCT/FR97/01354 



4 

informations desirees, avec des resultats et des applications tres variees (qui correspondent 
suivant Implication a une demi-image complete dans le cas de trames entrelacees ou a une image 
complete). 

Un article par Alberto Tomita Sr. et Rokuya Ishii, intitule aHand Shape Extraction from a 
5 Sequence of Digitized Gray-Scale Images)), dans Institute of Electrical and Electronics Engineers, 
vol. 3, 1994, p. 1925-1930, met en oeuvre une detection de mouvement par soustraction entre 
images successives, suivie de la formation d'histogrammes basee sur la forme de la main humaine, 
afin d'extraire la forme d'une main humaine dans une scene numerisee. L'analyse par 
histogramme est basee sur une echelle de gris inherente a la main humaine. On ne prevoit aucune 
10 formation d'histogrammes de coordonnees du plan. Le but unique des auteurs de cet article est de 
detecter les deplacements d'une main humaine, par exemple afin de remplacer, pour l'introduction 
de donnees dans un ordinateur, la souris habituelle par une main dont on repere les deplacements. 

Au comraire la presente invention n'est pas limitee a detecter le deplacement d'une main, 
mais permet de detecter le deplacement relatif de tout objet, au sens le plus large, dans une scene 
15 et n'utilise pas des histogrammes bases sur les valeurs de gris d'une main, mais des histogrammes 
de certaines variables numeriques particulieres representatives du deplacement eventuel et des 
histogrammes de coordonnees du plan. 
Selon la presente invention : 

- on traite un signal video numerique, en provenance d'un systeme d'observation, signal 
20 constitue, a la maniere connue, par une succession de trames (qui correspondent a une demi- 
image dans le cas de deux trames entrelacees par image ou a une image complete dans le cas 
d'une seule trame par image) comportant chacune un nombre determine de lignes successives 
et, dans chacune de ces lignes, un nombre determine de pixels ou points d'image, 

- afin d'obtenir, en utilisant une memoire de capacite relativement faible, des signaux aptes a 
25 indiquer s'il existe, dans la scene observee, une zone en deplacement relatif et, dans ce cas, a 

preciser la localisation, ainsi que la vitesse et la direction (orientee) de ladite zone si elle se 
deplace effectivement par rapport a son environnement, 

- et ceci en elaborant deux signaux numeriques caracteristiques, Tun, d'une variation ou non- 
variation significative du signal de pixel pour le meme emplacement de pixel entre deux trames 

30 correspondantes successives et, 1'autre, de ramplitude de cette variation, lorsqu'elle existe, et 
en repartissant matriciellement ces deux signaux pour les pixels d'une portion de trame a un 
meme instant. 

I/invention a tout d'abord pour objet un procede, en temps reel, pour le reperage et la 
localisation d'une zone en mouvement relatif dans une scene observee par un systeme 
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d'observation a sonie constitute par un signal video numerique du type comportant une 
succession de trames correspondantes, composees chacune d'une succession de lignes, 
composees chacune d'une succession de pixels, ainsi que pour la determination de la vitesse et de 
la direction orientee du deplacement, ledit precede etant caracterise en ce qu'il consiste a 
5 effectuer sur le signal video numerique de sortie successivement : 

- un traitement de lissage dudit signal video numerique de sortie mettant en oeuvre une 
constante de temps numerique dont la valeur numerique peut etre modifiee pour chacun des 
pixels dudit signal de sortie, independamment pour chacun d'entre eux ; 

- une mise en memoire d'une trame dudit signal de sortie apres le lissage, d'une part, et de la 
10 constante de temps de lissage associee a la dite trame, d'autre part ; 

- un traitement temporel consistant, pour chaque position de pixel, a determiner I'existence, 
d'une part, et 1'amplitude, d'autre part, d'une variation significative de l'amplitude du signal de 
pixel entre la trame actuelle et la trame juste anterieure Jissee, mise en memoire, et a generer 
deux signaux numeriques, le premier signal etant un signal binaire ou monobit a deux valeurs 

15 possibles dont l'une represente I'existence d'une telle variation significative et l'autre l'absence 
d'une telle variation entre deux trames successives, la valeur dudit signal binaire modifiant la 
valeur memorisee de ladite constante de temps arm de la diminuer si ledit signal represente une 
variation significative et afin de l'augmenter si ce signal ne represente pas une telle variation , 
la diminution ou 1'augmentation etant realisee d'une maniere quantifiee, tandis que le second 
signal numerique, dit d'amplitude, est un signal multibits a nombre limite de bits, quantifiant 
l'amplitude de cette variation ; et 

- un traitement spatial consistant, pour chaque trame de signal video numerique d'entree, 

• a repartir, afin de caracteriser les valeurs des pixels, en une matrice a nombre de lignes et 
nombre de colonnes reduits, par rapport respectivement au nombre de lignes et au nombre 

25 de pixels par ligne dans le signal video, uniquement les valeurs, au meme instant 

d'observation, pour une fraction des pixels d'une trame - fraction qui defile par balayage a 
travers ladite matrice pendant la duree d'une trame - dudit signal binaire, d'une part, et 
dudit signal numerique d'amplitude, d'autre part, 

• a determiner, dans cette double representation matricielle instantanee, une zone 
30 particularisee, dans laquelle a la fois ledit signal binaire a la valeur recherchee representant 

la presence, ou respectivement l'absence, de variation significative et ledit signal numerique 
d'amplitude varie, ou respectivement ne varie pas, d'une valeur significative entre pixels 
voisins dans la matrice suivant une direction orientee a partir d'un pixel d'origine, et ceci 
pour une meme portion de trame. done a un meme instant d'observation. et 



20 
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• a engendrer des signaux representatifs de Fexistence et de la localisation de la zone en 
deplacement relatif, ainsi que la vitesse relative intertrames et la direction orientee de ce 
deplacement, s'il existe, relativement a son environnement, a partir de la repartition 
matricielle instantanee de ces deux signaux numeriques, binaire et d'amplitude. 

5 De preference, le procede selon invention est caracterise en ce qu'il consiste, en outre, 

• a former les histogrammes des valeurs des signaux repartis matriciellement, d'une part, et 
les histogrammes des inclinaisons de deux axes, a pente variable, de coordonnees dans un 
plan, d'autre part, 

• a reperer, dans chaque histogramme forme, un domaine de variation significative de la 
10 valeur traitee et 

• a deduire, de chaque domaine repere, P existence et la localisation, ainsi que la vitesse et la 
direction orientee, d'une zone en mouvement relatif. 

Dans des modes de realisation particuliers : 

- Iadite matrice est une matrice carree a meme nombre impair (2/ + 1 ) de lignes et de colonnes, 
15 et on considere les matrices emboitees de 3 x 3, 5x5, 7 x 7,.. .(2/ + 1) x (2/ + 1) elements 

centrees sur le centre de cette matrice carree afin de determiner la matrice emboitee de plus 
petite taille dans laquelle ledit signal numerique varie dans une direction orientee a partir dudit 
centre, la valeur dudit signal binaire representant un depassement du seuil selon cette direction, 

- Iadite matrice est une matrice hexagonale et on considere les matrices hexagonales emboitees 
20 de taille croissante centrees sur le centre de cette matrice hexagonale afin de determiner la 

matrice emboitee de plus petite taille dans laquelle ledit signal numerique varie dans une 
direction orientee, 

- Iadite matrice est une matrice en L renverse a une seule ligne et une seule colonne et on 
considere les matrices emboitees de 3x3 pixels, 5x5 pixels, 7x7 pixels... 

25 (21 + 1) x (2/ + 1) pixels, pour la ligne et la colonne uniques, afin de determiner la matrice de 
plus petite taille dans laquelle le signal varie dans une direction orientee, a savoir la ligne de 
plus grande pente a quantification constante. 

Avantageusement Iadite constante de temps est de la forme 2 v y p etant un nombre inferieur 
a 16, pouvant done etre exprime par pas plus de 4 bits, la diminution ou Taugmentation de la 
30 constante de temps etant realisee par la soustraction ou Taddition d'une unite a/>. 

Dans ce cas, si on le desire, on considere des portions successives decroissantes de trames 
completes suivant Talgorithme temps - echelle de Mallat et selectionne la plus grande de ces 
portions, qui donne des indications de deplacement, vitesse et orientation, compatible avec la 
valeur de /> 
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L'invention a egalement pour objet un dispositif, fonctionnant en temps reel, pour le 
reperage et la localisation d'une zone en mouvement relatif dans une scene observee par un 
systeme d'observation a sortie constitute par un signal video numerique, du type comportant une 
succession de trames correspondantes, des lignes successives dans chaque trame correspondante 
5 et des pixels successifs dans chaque ligne, ainsi que pour la determination de la vitesse et de la 
direction orientee du deplacement, par mise en oeuvre du procede susmentionne, ledit dispositif 
recevant, en entree, ledit signal video de sortie et etant caracterise en ce qu'il comporte en 
combinaison : 

- des moyens de lissage dudit signal video numerique de sortie mettant en oeuvre une constante 
10 de temps numerique dont la valeur numerique peut etre modifiee pour chacun des pixels dudit 

signal de sortie, independamment pour chacun d'entre eux , 

- des moyens de memorisation d'une trame dudit signal de sortie apres lissage, d'une part, et de 
la constante de temps de lissage associee a ladite trame, d'autre part ; 

- une unite de traitement temporel pour analyser les variations temporelles de Famplitude du 
15 signal de pixel, pour une meme position de pixel, entre la trame actuelle et la trame juste 

anterieure lissee, mise en memoire, dudit signal video numerique, ladite unite comportant, en 
association avec une memoire apte a recevoir, stocker et restituer des informations relatives a 
la trame correspondante precedente lissee, des moyens de comparison pour determiner, pour 
chaque position de pixel dans la trame du signal video entrant, si la valeur absolue de la 

20 difference entre le signal de pixel actuel et une valeur representative du signal de pixel, pour la 
meme position de pixel, dans la trame anterieure, valeur representative stockee dans ladite 
memoire, depasse ou non un seuil, en generant un signal binaire ou monobit a deux valeurs, 
dont Tune represente Pexistence d'un depassement et dont Tautre represente Tabsence d'un 
depassement, et des moyens de calcul aptes a determiner un signal numerique d 'amplitude 

25 multibits, a nombre reduit de bits, dont la valeur est fonction de Famplitude de la variation de 
la valeur du meme pixel entre la trame actuelle et la trame juste anterieure lissee, mise en 
memoire, du signal video numerique ; et 

- un ensemble de traitement spatial, dont les entrees recoivent, de l'unite de traitement temporel, 
lesdits signaux binaire et numerique d'amplitude successifs pour les pixels d'une meme trame, 

30 ladite unite comportant des moyens aptes a caracteriser les valeurs d'amplitude des pixels, ces 
moyens repartissant, suivant une matrice a nombre de lignes et nombre de colonnes reduits par 
rapport respectivement au nombre de lignes et au nombre de pixels par ligne dans une trame 
dudit signal video numerique, uniquement lesdits signaux binaire et numerique d'amplitude 
relatif a un meme instant, c'est-a-dire a une meme trame. celle-ci defilant par balayage a travers 
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ladite matrice pendant la duree d'une trame, des moyens de reperage pour determiner, dans 
ladite matrice, une zone de pixels dans laquelle, a cet instant, le signal binaire a la valeur 
recherchee et des moyens pour determiner, dans ladite matrice, une zone de pixels dans 
laquelle, a ce meme instant, le signal numerique d'amplitude varie d'une quantite significative 
5 entre pixels voisins, et des moyens qui, en reponse aux indications des deux derniers moyens 
precedents, generent des signaux representatifs de cette zone de pixels, done de I'existence et 
de la localisation d'une zone en mouvement relatif dans la scene observee, ainsi que de la 
vitesse relative intertrames et de la direction orientee de cette zone lorsqu'elle se deplace 
effectivement relativement a son environnement. 
10 De preference l'unite de trait ement spatial comporte, en outre, une sortie debitant un 

signal video numerique retarde constitue par le signal video numerique d'entree retarde d'une 
duree egale a la duree des lignes d'une matrice diminuee de la duree d'une ligne afin de fournir un 
signal de sortie contemporain de l'analyse de la matrice dans ladite unite de traitement tempore!. 
De preference, dans le dispositif selon l'invention, I'ensemble de traitement spatial 
15 comporte des moyens de retard en cascade dont chacun impose un retard egal a 1'ecart temporel 
entre les debuts de deux lignes successives et des moyens a retard en cascade pour chaque ligne 
imposant chacun un retard egal a 1'ecart temporel entre deux pixels successifs d'une ligne, les 
sorties de I'ensemble de tous les registres et de l'entree des premiers registres de chaque ligne 
debitant a un instant donne les valeurs dudit signal binaire et dudit signal numerique d'amplitude, 
20 a un meme instant, vers lesdits moyens de reperage. 

Avantageusement le dispositif selon l'invention comporte egalement des moyens formant 
les histogrammes des valeurs de sortie de ladite unite de traitement spatial, ainsi que les 
histogrammes des inclinaisons de deux axes, a pente variable, de coordonnees dans un plan, des 
moyens pour reperer, dans chaque histogramme, un domaine de variation significative de la valeur 
25 traitee, afin de valider ce domaine en leur sortie et de deduire, pour I'ensemble des histogrammes, 
des signaux de sortie qui signalent et localisent une zone de la scene observee en mouvement 
relatif, si elle existe, ainsi que la vitesse et la direction orientee de ce mouvement si ladite zone se 
deplace effectivement par rapport a son environnement. 

Si on desire detecter le mouvement d'un objet dans un environnement sensiblement 
30 immobile, on determine la zone de la matrice dans laquelle simultanement le signal binaire a la 
valeur correspondant a un depassement du seuil et le signal numerique d'amplitude varie d'une 
valeur significative entre pixels voisins d'une trame. 

Au contraire, si on desire detecter Pimmobilite d'un objet dans un environnement 
sensiblement en mouvement. on determine la zone de la matrice dans laquelle simultanement le 
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signal binaire a la valeur correspondent a un non-depassement du seuil et le signal numerique 
d'amplitude ne varie pas entre pixels voisins d'une trame. 

De preference, dans le dispositif pour le reperage, la localisation et la determination de la 
vitesse et de la direction orientee du deplacement d'une zone en mouvement relatif dans une 
5 scene, par mise en oeuvre du procede susmentionne : 

- lesdits moyens de lissage component une entree qui re$oit ledit signal video numerique et 
calculent, pour les pixels successifs d'une trame de ce signal video, un signal lisse, dans lequel 
!es variations temporelles du signal video numerique d'entree sont diminuees, par mise en 
oeuvre d'un signal de seuil regu sur une autre entree et d'une constante de temps relative a 

10 chaque position de pixel d'une trame, dont la valeur est successivement modifiee afin que le 
lissage conserve, tout en la reduisant, la tendance de variation du signal video numerique 
entrant, ces moyens de lissage cooperant avec Tunite de memoire qui re^oit, stocke et restitue 
les valeurs actualisees, pour chaque portion de pixel d'une trame, du signal lisse et de ladite 
constante de temps et debitent, sur leurs sorties, au moins la succession, pour chaque position 

15 de pixel, des valeurs de la constante de temps actualisee et des valeurs d'un signal binaire de 
depassement ou non-depassement dudit seuil par la valeur absolue de la difference entre la 
valeur du pixel et sa valeur liss£e ; ladite unite de traitement spatial realisant la repartition 
matricielle, par lignes et colonnes en nombre reduit, des sorties desdits moyens de lissage, a 
savoir des valeurs successives de la constante de temps et dudit signal binaire ; 

20 - on prevoit des moyens de reperage pour reperer, dans ladite repartition matricielle, une zone 
de pixels dans laquelle, a la fois, soit la valeur dudit signal binaire correspond a un depassement 
de seuil et ladite constante de temps varie entre pixels voisins d'une valeur significative dans 
une direction, et pour produire des signaux de sortie indiquant la localisation de ladite zone et 
la vitesse et la direction orientee du deplacement dans ladite zone, soit la valeur dudit signal 

25 binaire correspond a un non-depassement du seuil et ladite constante de temps ne varie pas 
entre pixels voisins et pour produire des signaux de sortie indiquant la localisation de ladite 
zone. 

Dans les modes de realisation preferes : 

- lesdits moyens de lissage comprennent, en combinaison avec une memoire video ou memoire 
30 de trame (field memory) qui stocke les valeurs successives, pour chaque pixel de trame, de 

ladite constante de temps et du signal video numerique lisse, des moyens de calcul, pour 
chaque pixel, de la valeur absolue de la difference entre la valeur du signal video numerique 
provenant de la camera et la valeur du signal video numerique precedent lisse, des moyens 
mmiAir^r rrt*f> ^Iffrrrnro 3 un ft roitr engenrirer un signal binaire. dnnt une des 
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deux valeurs indique un depassement dudit seuil et l'autre valeur indique un non-depassement 
de celui-ci ; des moyens de mise a jour de la constante de temps recevant de ladite memoire la 
valeur juste anterieure de la constante de temps et la diminuant si eile re<?oit un signal binaire 
dont la valeur indique un depassement de seuil, mais Taugmentant si la valeur du signal binaire 
5 indique un non-depassement, la diminution ou raugmentation n'ayant toutefois pas lieu si elle 
aboutissait respectivement a une valeur negative ou a une valeur superieure a une valeur seuil, 
et des moyens de mise a jour de la valeur lissee du signal video numerique qui ajoutent 
algebriquement a la valeur anterieure de ce signal lisse re v ue de ladite memoire le quotient de 
la difference entre le signal video numerique en provenance de la camera et le signal video 
10 numerique lisse precedent en provenance de ladite memoire par un facteur egal a la valeur de la 
constante de temps anterieure en provenance de ladite memoire ; 
- ladite constante de temps est sous la forme 2\ p etant un nombre entier inferieur a 16, pouvant 
done etre represents par au plus 4 bits, la diminution ou Taugmentation de la constante de 
temps etant realisee par la soustraction ou I'addition d'une unite a/> , 
15 - lesdits moyens de repartition matricielle comprennent, en combinaison avec des moyens de 
retard appliquant des retards successifs, egaux a la duree d'une ligne du signal video, au signal 
video numerique en provenance de la camera pour debiter sur une succession des sorties, ce 
signal video retarde de la duree d'un retard, de deux retards et ainsi de suite jusqu'a un nombre 
de retards egal au nombre de lignes de la matrice de repartition spatiale diminue d'une unite, 
20 des moyens de repartition matricielle suivant les lignes successives de la matrice recevant, 
d'une part, le signal video numerique de la camera non retarde et ce signal progressivement 
retarde en provenance des sorties des moyens de retard et, d'autre part, les valeurs de la 
constante de temps et dudit signal binaire en provenance desdits moyens de lissage, pour 
realiser une repartition matricielle, par lignes et par colonnes, a un instant donne desdites 
25 valeurs de la constante de temps et du signal binaire pour les pixels d'une portion de trame du 
signal video numerique de dimension egale a celle de la matrice ; 
- les moyens de repartition matricielle component une succession de conducteurs de signaux 
numeriques en nombre egal a celui des lignes de la matrice de repartition, chacun avec des 
registres a decalage, connectes en serie, imposant chacun un retard egal a Tecart temporel 
30 entre deux pixels successifs d'une ligne du signal video numerique, la position d un pixel 
reparti dans la matrice etant determine par un point de la matrice situe en amont d'un registre a 
retard, dont le nombre par ligne est egal au nombre de colonnes dans la matrice diminue d'une 
unite, et par un point en aval du registre a decalage le plus en aval ; 



WO 98/05002 



PCT/FR97/01354 



11 * 

- lesdits moyens de reperage, dans ladite matrice, d'une zone en deplacement, par detection de la 
presence simultanee d'une valeur du signal binaire indiquant un depassement et de la variation 
de la valeur de la constante de temps, comprennent des moyens pour determiner, suivant des 
directions orientees discretes numerisees, la pente de la variation de la valeur de la constante de 

5 temps au voisinage d'un pixel au centre de ladite matrice, constituant Porigine pour lesdites 
directions, et des moyens pour selectionner la pente la plus forte de variation au voisinage de 
ce centre-origine et en determiner la direction orient ee, en tenant compte d'un critere de choix 
pour la selection de la direction en cas de plus d'une direction de meme pente maximale de 
variation, ces derniers moyens debitant, en sortie, des signaux representatifs de la vitesse et de 

10 la direction orientee du deplacement dans la zone en deplacement, avec un signal de validation 
indiquant que ces signaux de vitesse et de direction sont valides, ainsi que de la valeur de la 
constante de temps. 

De preference dans le cas ou le dispositif selon Pinvention les comport e, les moyens 
formant les histogrammes comprennent chacun : 
15 - des entrees recevant le signal dont on forme Phistogramme et un signal de validation en 
provenance des moyens de repartition matricielle ; et 

- des moyens pour etablir deux histogrammes unidimensionnels lineaires pour les deux 
coordonnees du plan et pour combiner ces deux histogrammes lineaires en un histogramme de 
surface representant la zone de variation significative du signal d'entree ; et 

20 - une sortie debitant un signal representatif de cette zone. 

En outre les moyens formant les histogrammes comprennent de preference : 

- des moyens de calcul de changement de repere, dont les entrees re^oivent un signal de 
sequence de lignes, un signal de sequence de colonnes et un signal d'horloge de pixel et dont la 
sortie est representative du changement de repere ; 

25 - deux moyens de formation d'histogrammes pour deux axes, recevant les deux signaux de 
repere et formant les histogrammes de ces axes ; et 

- des moyens de zone recevant les sorties des deux moyens de formation d'histogrammes pour 
les deux axes et debitant, en sortie, un signal d 'information de pente globale des deux axes. 

Dans certaines applications, on peut prevoir que ladite constante dc temps est constitute 
30 par le numero d'ordre des intervalles, en nombre limite, et en grandeur progressivement 
croissante, selon lesquels on decoupe la valeur absolue de la difference entre la valeur de pixel 
actuel et la valeur juste anterieure du meme pixel apres lissage, pour chaque position de pixel. 

Avantageusement pour determiner le signal binaire de depassement ou non-depassement 
du seuiL on compare a un seuil. pour chaque position de pixel, la valeur absolue de la difference 
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entre la valeur du pixel actue! qui entre et la valeur du meme pixel lissee juste anterieure en 
provenance de la memoire. 

En ce qui concerne le signal numerique d'amplitude, on le genere, de preference, sous la 
forme d'un nombre entier qui represente la tendance au rapprochement entre la valeur du pixel 
5 actuel et la valeur de ce meme pixel juste anterieure lissee, pour chaque position de pixel. 

Une des caracteristiques de Pinvention est constitute par le fait que, pour determiner tant 
le signal binaire que le signal numerique d'amplitude, on utilise, pour la valeur du pixel juste 
anterieure, une valeur lissee de celui-ci mise en memoire, afin de reduire les variations temporelles 
excessives de ce signal de pixel qui peuvent exister dans le signal video numerique d'entree en 
10 provenance de la camera video ou autre dispositif d'observation a sortie numerique. 

On sait en effet qu'une operation de lissage a pour effet de substituer progressivement, a 
un signal numerique a variations importantes d'amplitude dans le temps, un signal presentant des 
variations plus reduites et done plus facilement quantifiables avec un nombre reduit de paliers, 
done de bits, dans le signal numerique d'amplitude lisse. 
15 On va decrire maintenant, avec reference au dessin annexe, un mode de realisation prefere, 

donne a titre d'exemple illustratif, et nullement limitatif, d\in dispositif selon Pinvention mettant 
en oeuvre le precede selon Pinvention. 

Sur ce dessin : 

La Fig. 1 illustre tres schematiquement Pensemble du systeme selon Pinvention avec son 
20 entree et ses sorties, ainsi que le signal d'entree pour ce systeme. 

La Fig. 2 represente, sous forme de blocs fonctionnels, les principals unites d'un 
dispositif selon Pinvention formant un ensemble de traitement temporel et spatial 

La Fig. 3 et la Fig. 4 illustrent les schemas fonctionnels, respectivement de Pensemble de 
traitement tempore! par calcul et de Pensemble de traitement spatial par repartition matricielle, qui 
25 font partie du dispositif de la Fig. 2. 

La Fig. 5 schematise le traitement temporel et le traitement spatial dans un systeme selon 
Pinvention. 

La Fig. 6 illustre la valeur numerique, selon le code de Freeman, des directions discretes a 
partir d'un centre d'origine dans la matrice de la Fig. 4. 
30 La Fig. 7 illustre deux matrices emboitees de petite taille a Pinterieur de la matrice de 

repartition temporelle. 

Les Fig. 8 et 9 decrivent deux autres types de matrice, respectivement hexagonale et en L 
renverse. 
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La Fig. 10 illustre schematiquement Passemblage, selon la ligne Z - Z 1 du dispositif de la 
Fig. 2 avec un ensemble supplemental selon une realisation preferee de ['invention. 

La Fig. 1 1 represents sous forme de blocs, iedit ensemble supplemental de la Fig. 10; la 
Fig. 2 et la Fig. 1 1 etant assemblies le long de la ligne Z - Z\ en traits mixtes, figurant sur la 
Fig. 2et la Fig. 10. 

La Fig. 12 illustre la formation de deux histogrammes unidimensionnels et, a partir de 
ceux-ci, d'un histogramme superficiel de zone en deplacement, pour un signal d'entree. 

La Fig. 13 represente plus en detail un bloc ou unite de formation et traitement 
d'histogramme et son bloc de combinaison lineaire associe. 

La Fig. 14 illustre un histogramme unidimensionnel. 

La Fig. 15 et la Fig. 16 illustrent Putilisation de la variation de la pente d'observation 
d'une scene. 

La Fig. 17, la Fig. 18 et la Fig. 19 illustrent, sous forme de blocs pour les deux premieres 
figures, d'autres applications possibles d'un dispositif selon Pinvention, la premiere figure 
concernant la videoconference, la seconde etant relative a la surveillance des autoroutes (ou 
routes principales) et la troisieme concernant la commande d'une machine par le mouvement de la 
main d'un operateur. 

Les Fig. 20 et 21 representent schematiquement Papplication de Pinvention a la 
surveillance de l'endormissement d'un conducteur automobile. 

La Fig. 22 montre Pimage transformee suivant le diagramme de Mallat. 

En referant d'abord a la Fig. 1, on voit que, dans le mode de realisation prefere, le 
dispositif 11, selon Pinvention, comporte d'abord une entree 12 qui resoit un signal video 
numerique S d'une camera video ou camescope 13, a un ou plusieurs capteurs CCD de type 
CMOS, avec sortie numerique directe ou a sortie analogique convertie, dans un convertisseur 
analogique/numerique, en sortie numerique. Ce signal S est constitue, a la maniere connue, par 
une succession de paires de trames entrelacees telles que TRi et TR'i, TR 2 et TR' 2 , comportant 
chacune une succession de lignes de balayage horizontal, chaque ligne (telle que / u , A. 2 , ■ Um ■ 
de TR] et lx\ de TR 2 ) etant constitute par une succession de signaux elementaires de pixels ou 
points-images PI representatifs de points (tels que : flu, a,. 2 , et a u pour la ligne /u ; ,q-li 
pour la ligne A. 2 ; a xlA et a 17 . 2 pour la ligne h.n ; fli.i , a it2 pour la ligne /2.1) de la scene 13a 
surveillee par la camera 13 ; c'est pourquoi sur le dessin on a indique S(PI), a savoir un signal S 
constitue par des pixels PI. 

A la maniere connue, S(PI) comporte des signaux de synchronisation trame ST au debut 
de chaque trame et de synchronisation ligne SL au debut de chaque ligne. 
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On voit done que le signal S(P1) est constitue 

- par tine succession de sequences (les trames successives) dans le cadre d'un domaine temporel 
et 

- dans chaque sequence (dans chaque trame) par une serie de sous-sequences (lignes, pixels) 
5 dans le cadre d'un domaine spatial. 

Dans le domaine temporel, on designera par 1'expression «trames successives» les trames 
successives de meme nature (e'est-a-dire les trames impaires, par exemple TR, , ou 
respectivement paires, par exemple TR',) des paires de trames, par exemple TR, - TR',, formant 
les images successives du signal video numerique S(PI) et par I'expression «pixels successifs dans 

10 la meme position)) les valeurs de pixel (PI) successives en un meme emplacement des trames 
successives de meme nature, par exemple a,., de /,., de la trame TR, et a,., de k, de la trame 
correspondante suivante TR2. 

Le dispositif 11 comporte par ailleurs des sorties 14 debitant divers signaux numeriques, 
elabores par lui, utiles pour signaler l'existence d'une zone ou «objet» (au sens le plus general 

15 indique ci-dessus) en deplacement relatif et sa localisation, de meme que sa vitesse et sa direction 
de deplacement si celui-ci est effectif par rapport a un environnement sensiblement immobile, a 
savoir le signal complexe ZH groupant schematiquement les signaux signalant d'existence et la 
localisation de cette zone ou objet, la vitesse V et de direction orientee DI du deplacement, et 
eventuellement le signal video numerique d'entree S retarde en synchronisme avec les signaux 

20 precedents, pour tenir compte de leur temps de calcul, ce signal retarde SR permettant de 
visionner, sur l'ecran d'un moniteur ou d'un televiseur 10, l'image percue par la camera 13 au 
moment ou sont disponibles les renseignements concemant la zone eventuelle en deplacement 
relatif, a savoir le signal ZH, (V, DI), utilisables dans un ensemble de traitement et controle 10a. 

Avec reference a la Fig. 2, on va exploiter la structure de la premiere partie du dispositif 

25 11 de la Fig. 1, cette premiere partie etant representee a I'interieur du cadre 11a en traits 

interrompus de cette Fig. 2. 

L'ensemble 11a comprend essentiellement, d'une part, une unite de traitement temporel 
15, avec une unite memoire associee 16, et, d'autre part, une unite de traitement spatial 17, avec 
une unite a retards 18 et une unite de sequencement 19 associees, ainsi qu'une horloge de pixel 20 
30 cadencant 1'unite de traitement temporel 1 5 et I'unite de sequencement 19. 

L'unite 1 5 de traitement temporel, qui realise, entre autres, un lissage du signal video : 
- elabore, a partir du signal video numerique S, provenant de la camera video 13 et comportant 
une succession de valeurs de pixel PI, et a partir des impulsions HP engendres par I'horloge 20 
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certains nombre de grandeurs, comme expose ci-apres avec reference a la Fig. 3, et echange 
avec la memoire 16 les valeurs de deux de ces grandeurs, a savoir les valeurs lissees L du 
signal video numerique et les valeurs C de la constante de temps du lissage, les valeurs L et C 
etant suivies de la lettre O pour les valeurs entrant dans la memoire 16 a partir de Tunite 15 ou 
5 de la lettre I pour les valeurs sortant de la memoire 16 pour atteindre Punite 1 5, et 

- debite, en sortie, un signal binaire DP de depassement ou non-depassement de seuil et un signal 
numerique CO indiquant la valeur calculee actualisee de la constante de temps, a savoir la 
valeur CO envoyee dans la memoire 16. 

La structure par blocs de calcul et/ou comparaison de Punite de traitement temporel 1 5 est 
10 explicitee sur la Fig. 3 ; Punite 15 comporte quatre blocs 15a, 15b, 15c, 15d. 
Le premier bloc 15a de Punite 15, a partir 

- du signal video numerique d'entree S, constitue forme par une succession de signaux de pixels 
PI, et 

- d'une valeur lissee LI de ce signal S pour la trame correspondante juste anterieure, calculee 
15 auparavant par Punite 15 en tant que LO et stockee temporairement dans la memoire 16 

(comme explique ci-apres) 

- a la cadence imposee par les signaux d'horloge HP de Phorloge 20, calcule la valeur absolue 
AB de la difference entre les valeurs entrantes de PI et LI pour une meme position de pixel 
(par exemple o u , de /i.i de TRi et de ?x\ TR 2 ) 

20 AB = I PI - LI K 

Le deuxieme bloc 1 5b est un bloc de test : 

- il recoit le signal numerique precite AB de Punite 1 5a et un signal numerique de valeur de seuil 
SE, qui pourrait etre fixe, mais qui est en general fonction de la valeur de pixel ; on le fait alors 
varier dans le meme sens que celui-ci pour constituer une correction de gamma (les moyens 

25 connus afin d'effectuer la variation de SE pour realiser une correction de gamma etant 
representes par le bloc optionnel 1 5e en traits interrompus) ; et 

- il compare ces deux signaux numeriques representatifs de AB et SE afin de determiner un 
signal binaire DP, c'est-a-dire pouvant prendre deux valeurs 1 et 0, qui signalent un 
depassement ou un non-depassement, respectivement, dudit seuil SE par AB . 

30 - si AB est superieur a SE, DP se verra attribuer, dans Tunite 15b, ia valeur 1 representative 
d*un depassement ; 

- si AB est inferieur ou egal a SE, DP recevra, dans Punite 15b, la valeur 0 representative de 
non-depassement. 



WO 98/05002 



PCT/FR97/01354 



(6 

En fait lorsque DP = 1, il y a une trop grande difference entre PI et LI, c'est-a-dire entre 
le signal video numerique d'entree et le signal video numerique precedent lisse, et il faut diminuer 
cette difference en reduisant la constante de temps de lissage et inversement si DP = 0 il faut 
augmenter cette constante de temps. 
5 Le troisieme bloc 1 5c realise justement la variation desiree de valeur de la constante de 

temps en fonction de la valeur de DP : 

- si DP — 1, le bloc 35c diminue d'une valeur unitaire U la contante de temps : CO (nouvelle 
valeur de cette constante) = CI (ancienne valeur de la constante) - U ; 

- si DP = 0, le bloc 15c augmente de la meme valeur unitaire U la constante de temps : 
10 CO = CI + U. 

A cet effet le bloc 1 5c recoit, sur une entree, le signal de depassement binaire precite DP 
en provenance du bloc 1 5b et, sur une autre entree, le signal CI, qui est la valeur de la constante 
de temps anterieure stockee dans la memoire 16, et effectue la diminution ou Taccroissement, de 
la valeur unite U, de la constante de temps entrante CI qui devient CO envoyee dans ladite 

15 memoire 16 en remplacement de CI. 

Avantageusement la constante de temps, dont depend la convergence du lissage (en 
fonction du temps necessaire pour que la valeur lissee atteigne la valeur d'entree du signal video 
numerique), est representee par une puissance de 2, a savoir par une valeur 2 P , et c'est alors ce 
nombre entier pqm sera diminue ou augmente, dans le bloc 15c, d'une unite, c'est-a-dire de 1 ; 

20 alors sur la Fig. 3 on a U = 1 pour p 9 

- si DP = 1, le bloc 15c soustrait une unite (1) du facteurp de la constante de temps 2 P , qui 
devient 2 P * J ; 

- si DP = 0, le bloc 15c ajoute une unite (1) au facteur p de la constante de temps 2 P , qui 
devient 2 P *'. 

25 Le choix d*une constante de temps du type 2 P a le double avantage de corresponds a la 

physiologie de la vision humaine et de permettre des calculs plus simples, ce qui simplifte la 
structure du bloc 15c. 

Le bloc 1 5c doit assurer en outre une double condition, a savoir garder CO entre deux 
valeurs limites : CO ne doit pas devenir negatif (CO > 0) et ne doit pas depasser un seuil N 
30 (CO < N). Dans le cas particulier ou CI et CO sont de la forme 2 P , le seuil superieur N est 
represents par un nombre entier /; qui constitue une valeur maximale pour p. 

Le seuil superieur N (ou //) peut etre soit constant, soit variable ; dans ce dernier cas une 
unite optionnelle 15f (en traits interrompus) realise cette variation de N (ou /;) sur Pordre de 
Tutilisateur par exernple. Une augmentation de N a pour consequence d'auGrnenter la sensihilite 
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de la detection du deplacement, tandis que la diminution de N ameliore la detection des grandes 
vitesses. 

Enfin le quatrieme bloc 15d regoit, sur une premiere entree, la valeur CO de la nouvelle 
constante de temps elaboree dans le bloc 15c , sur une deuxieme entree, le signal video numerique 
d'entree S sous la forme d'une information de valeur de pixel PI et, sur une troisieme entree, la 
valeur lissee du signal video numerique d'entree precedent, a savoir LI, en provenance de ia 
memoire 16 et it calcule 

LO = LI + (Pl-LI)/CO 

qui est debite sur sa sortie. 

En fait le terme (PI - LI) / CO represente la modification apportee a la valeur lissee du 
signal video numerique, en tenant compte de la valeur modifiee CO de la constante de temps et tl 
est proportionnel a la difference algebrique entre la valeur effective du pixel d'entree actuel PI en 
provenance de la camera 13 et sa valeur de lissage anterieure LI et inversement proportionnel a 
CO. 

Si CO = 2 P , alors 

LO-Ll + tPI-LI)/! 90 

en tenant compte de po f valeur de p calculee dans Funite 15c, et qui remplace dans la memoire 16 
la valeur precedente pi de p. 

Par consequent Tunite de traitement tempore! 15 a quatre blocs de calcu! 15a, 15b, 15c, 

15d: 

- re^oit S(PI) de la camera video 13, les impulsions d'horloge HP, pour le cadencement des 
operations, les signaux de seuil SE et N (ou /;) ; 

- determine, a partir de signaux d'entree LI et CI en provenance de la memoire associee 16, des 
signaux actualises LO et CO qui sont envoyes dans ladite memoire en remplacement 
respectivement de LI et CI et qui representent respectivement les nouvelles valeurs calculees 
du signal video numerique lisse et de la constante de temps ; 

- et debite en sortie, vers Tunite de traitement spatial 17, a travers I'unite a retards 18, le signal 
CO precite et le signal binaire de depassement DP quelle a calcules a partir de PI, LI et SE. 

L'operation de lissage a pour but de normaliser les variations de la valeur numerique du 
signal video d'entree pour chaque pixel ou point d'image, a savoir la variation de chaque PI, en 
reduisant les ecarts de variation et en substituant, pour chaque pixel, aux valeurs successives 
reelles variables de PI en ce point d'image des valeurs lissees LO, moins variables que les valeurs 
PI. 



WO 98/05002 



PCT/FR97/01354 



18 

Ainsi a chaque PI entrant, l'unite de traitement temporel 15 substitue, en combinaison 
avec la memoire 16, une valeur lissee LO a variations reduites, par mise en oeuvre d'un signal 
binaire DP de depassement ou non d'un seuil et d'un signal CO de constante de temps qui sont 
actualises et envoyes dans l'unite de traitement spatial 17 illustree sur la Fig. 4. 

On peut reperer chaque pixel a l'interieur de la surface d'une trame par deux coordonnees 
(en principe orthogonales) d'abscisses et d'ordonnees, a savoirx t\y, en attribuant au pixel deux 
indices i (numero de la ligne) pour la coordonnee^ etj (numero du pixel dans la ligne) pour la 
coordonnee x. Chaque pixel d'indices / et j a une valeur video (valeur de l'amplitude du signal 
video) Plij. 

Si on considere maintenant ('evolution, dans le temps /. des PI ;j pour des trames 
correspondantes successives aux instants successifs /<>, , h, h ... , separes par une periode T 
correspondant a la periode d'image (egale en general a deux periodes de trame) et qui peut etre 
de 0,04 s dans le cas d'une frequence de 25 Hz pour le signal d'image video et de O,0333...s dans 
le cas d'une frequence de 30 Hz pour ce signal, ou de 50 Hz pour des capteurs a image 
progressive (1 trame/1 image), le signal d'un pixel video d'indices de localisation / et y a des 
valeurs successives notees PIij,o, Plijn , Plija.PIyu - a ces instants r 0 , h, h, h ••• 

Dans le cadre de l'invention on substitue, dans l'unite de traitement temporel 15, a Pij« les 
valeurs de lissage successives LOjji, savoir LO^o, LOijn, LOij t 2. LOjjci ... 

Pour chacun des pixels ou points d'image successifs de coordonnees /,./, a l'instant /, 
c'est-a-dire P ijt , on substitue a sa valeur reelle Plij, une valeur lissee donnee par la formule 

LOij, = LI ij( ,. i, + (Plij, - Ll ij( ,. n) / COij, 

La constante de temps est de preference de la forme 2 W ' . 

Les calculs effectues dans l'unite 15, notamment dans le bloc 15d, pour chaque intervalle 
de temps T separant /, de / 0 , h de /. , h de h, etc. assurent une convergence de la valeur LOg, vers 
la valeur PI*, dont la rapidite depend de la constante de temps qui est variable dans l'espace (et 
depend done de / et J) et dans le temps (et depend done de /) et qu'on peut ecrire COij,. 

Dans tous les cas plus CO ijt est grand, plus la convergence de LOij, est lente. Si 

COij, = 1, il n'y a plus de lissage. 

On peut evidemment dans les formules precedentes substituer respectivement les 
coordonnees cartesiennes^ et x aux indices i tXj de numero d'ordre de ligne et de pixel par ligne. 

Le bloc 1 5a calcule AB = I PI - LI I , les indices /. j et t n'etant pas explicites, la grandeur 
AB etant representative de la variabilite instantanee du signal video numerique S(PI) par rapport 
au signal lisse LI, pour chaque triplet /. ./. t. 
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Cest une des caracteristiques d'un dispositif selon Pinvention de realiser, dans Tunite 15 
de traitement tempore], un lissage des valeurs de pixel, de determiner les valeurs successives, pour 
chaque pixel, d'une constante de temps de lissage et d'un signal binaire de depassement ou non- 
depassement d'un seuil par la valeur absolue de la difference entre la valeur du pixel et la valeur 
lissee de ce pixel pour deux trames correspondantes successives, pour distribuer, suivant une 
matrice plane, a la fois les valeurs numeriques, a un meme instant, de ladite constante de temps et 
les valeurs dudit signal binaire pour les pixels d'une portion iimitee de trame, portion qui balaie la 
trame, afin de localiser, grace aux variations locales de ces deux valeurs a cet instant, une zone en 
mouvement relatif et de determiner la vitesse et la direction (orientee) de deplacement effectif en 
fonction de cette repartition, ceci etant effectue un ensemble de traitement spatial, decrit ci-apres 
avec reference a la Fig. 4. 

La convergence du lissage est assuree par les blocs de calcul 15b et 15c qui determined 
une variation de la valeur de la nouvelle constante de temps entrante CO (en fait CO*) telle 
qu'elle accelere la convergence. Ceci est realise en comparant AB (en fait AB ijt ) a un seuil SE, qui 
peut avoir une valeur constante ou de preference variable et dans ce dernier cas etre fonction de la 
valeur de pixel afin d'assurer une correction de gamma : si la valeur de pixel croit, le seuil croit et 
vice et versa. Le resultat de la comparison de AB avec le seuil SE (en fait SEy, si le seuil varie en 
fonction de la valeur de pixel, cette variation etant realise dans un bloc eventuel de calcul 15e) 
genere dans le bloc 15b le signal binaire de deplacement DP a deux valeurs possibles 1 et 0, 
comme explique ci-dessus. 

Le signal binaire DP arrive dans le bloc 15c pour faire varier la valeur de la constante de 
temps. A cette fin Tunite de calcul 15c re<?oit egalement la valeur de la constante de temps 
entrante CI en provenance de la memoire 16 et Pactualise en nouvelle valeur de la constante de 
temps CO qui est, entre autres, envoyee dans la memoire 16 oil elle est substitute a 1'ancienne 
valeur CI ; en fait pour les valeurs de CI et CO, il s'agit de CI ;J et CO i} a deux instants successifs, 
par exemple h et t u separes par Tintervalle T entre deux trames correspondantes (soit impaires, 

soit paires) successives. 

Le bloc 15c recevant DP et CI ajoute ou soustrait une valeur unitaire (U) a la valeur de la 
constante de temps CI ou une unite a p lorsque CO est de la forme 2 P suivant que le signal binaire 
DP represente un depassement (DP = 1) ou un non-depassement (DP = 0). 

SMI y a depassement, c'est que la valeur de cette constante est trop forte et on le diminue 
et vice et versa. 

En outre le bloc 15c s'assure que la nouvelle valeur de la constante de temps CO, deduite 
de CI par addition ou soustraction d'une unite, reste comprise entre 0 (CO non negatiO et une 
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valeur seuil N (CO non superieur a N). Si cette double condition n'est pas remplie, le bloc 15c ne 
modifie pas la valeur de CI (qui etait elle effectivement a Pinterieur de rintervalle de 0 a N, limites 
comprises) et alors CO = CI. 

La valeur limite superieure N ou n peut ou bien etre constante ou bien etre variable ; dans 
ce dernier cas elle ne doit pas depasser une valeur limite N max (ou n max) ; la variation 
eventuelle etant imposee par le bloc 15f sous reflet d'une commande a la disposition de 
Tutilisateur. 

En variante, on peut faire dependre N ou n de PI (N, n et PI etant en fait affectes du triplet 
d'indices /, j, t) afin d'assurer une regulation de la variation de LO (qui est calcule dans le bloc 
15d) en fonction du niveau de PI, ce qui peut s'exprimer par «N ijt ou n-^ est une fonction de PIiji»» 
la determination de Ni jt ou iiy, = /Plijt) etant effectuee dans un bloc de calcul substitue au bloc 
illustre 15f et recevant, en plus de N, la valeur de PI a partir de la camera video 13. 

On peut avantageusement imposer a la constante de temps C (en fait a chaque Qji) la 
condition d'avoir une valeur numerique qui soit un multiple de 2, plus particulierement une 
puissance de 2, quel que soient /, j et / ; dans ce cas particulier Ojt = 2 m \ p etant un nombre 
entier petit, fonction de /, j et /, representable par un nombre reduits de bits. Cette condition 
procure les avantages supplementaires mentionnes ci-dessus : 

- la loi de convergence du Hssage est voisine des lois de la physiologie de la vision humaine 

- la realisation electronique des blocs 15c et 15d est plus simple ; en particulier, dans le bloc 15d, 
qui a pour objet de determiner revolution de la valeur de la constante de temps, pour chaque 
couple /.y, par la formule 

LO = LI + (PI - LI) / CO, 
les calculs sont simplifies si CO est de la forme 2 P {p etant un nombre entier petit), la 
valeur de seuil /; de p etant elle-meme un nombre entier petit, representable par un nombre 
limite de bits. 

Dans tous les cas, la nouvelle valeur LO de lissage du signal video numerique d'entree 
S est envoyee dans la memoire 16 dans laquelle elle se substitue a LI (et ceci pour chaque 
couple d'indices ij). 

On peut constater, a Texamen des Fig. 2 et 3 que Tunite de traitement tempore! 15, qui 
comporte les blocs de calcul 15a, 15b, 15c, 15d, et eventuellement le bloc 15e et/ou le bloc 
15f, et qui coopere avec la memoire 16, determine, comme expose ci-dessus, et delivre en 
sortie, pour chaque triplet /, / /. 

- d'une part, la valeur lissee LO actualisee qui est transferee a la memoire 16 en 
rpnvOar<»n>rni A* lo vqlpnr Hp li^caop anterieur I ] 
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- d'autre part, deux signaux numeriques, a savoir : 

- un signal binaire DP, qui indique soit le depassement (DP = 1), soit le non-depassement 
(DP = 0) d'un certain seuil par la variation en valeur absolue du signal de pixel entrant en 
provenance de la camera video par rapport au signal de pixel anterieur lisse pour le meme point 

5 ;et 

- un signal numerique d'amplitude, constitue par. la valeur de la constante de temps actualisee 
CO; 

ces signaux numeriques DP et CO sont re^us, a travers Punite a retards 18, par Punite de 
traitement spatial 17 qui sera decrite ci-apres, le signal CO etant egalement re$u par memoire 16 
10 dans laquelle la valeur CO se substitue a la valeur anterieure CI pour le meme pixel. 

On voit done que la capacite de la memoire 16 pour stocker les valeurs successives du 
signal de pixel lisse, d'une part, et de la constante de temps, d'autre part, e'est-a-dire, en 
supposant qu'il y ait R pixels dans une trame, done 2R pixels par image complete, doit etre d'au 
moins 2K(e + f) bits en appelant e et /les nombres de bits attribues respectivement a un signal de 
15 pixel et a une constante de temps. En fait la capacite de la memoire n'a pas besoin d'etre 
beaucoup plus grande ; il suffit qu'elle depasse 2R(e + J) bits du nombre de bits necessaire pour 
assurer son fonctionnement correct, notamment pour Padressage et Pextraction des bits des 
signaux de pixel lisses et des bits des constantes de temps en fonction des indices / et j. Si chaque 
image video est constitute par une seule trame il suffira de R(e + J) bits au lieu de 2R(e + f) bits. 
20 Les sorties DP;j et COy, a un instant /, de Pensemble de traitement temporel 15 sont 

analysees et utilisees dans un ensemble de traitement spatial illustre sur la Fig. 4, Passemblage des 
Fig. 3 et 4 etant illustre sur la Fig. 2. 

En fait Pensemble 15 de traitement temporel traite les signaux de trames, tandis que 
Pensemble 17 de traitement spatial de la Fig. 4 traite les sous-sequences de lignes et de pixels 
25 dans une trame. 

Sur la Fig. 5 on a schematise le traitement temporel des sequences de trames 
correspondantes successives TRi, TR 2 , TR* superposees sur la figure et le traitement spatial dans 
la premiere de ces trames, e'est-a-dire TRi, en illustrant les coordonnees cartesiennes x exy et un 
pixel PI de coordonnees >\ x, e'est-a-dire d'indices ij au temps /| ; les pixels successifs de memes 
30 indices ij sur les trois trames TR U TR 2 , TR.* sont indexes /,/,/|, ijt 2 et ijh respectivement et ils ont 
les valeurs de pixels Plijn, Plija et Ply* respectivement. Un plan de la Fig. 5 correspond a un 
traitement spatial d'une trame, tandis que la superposition des plans correspond au traitement 
temporel (le temps t etant la variable) 
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L'unite de traitement spatial 17, a laquelle est associe une unite a retards 18 (egalement 
illustree sur la Fig. 4), coopere avec une unite de commande 19 qui est controlee par une horloge 
20 qui debite une impulsion d'horloge HP a chacun des signaux de pixel successifs (Fig. 2 pour 
Tensemble) 

Les sorties DPy et CO y de Tunite 15 de traitement temporel sont reparties dans Tunite 17 
suivant une matrice 21 de dimension reduite comportant un nombre de lignes et un nombre de 
colonnes tres inferieurs respectivement au nombre de lignes L et de pixels M par ligne des DPjj et 
COij a un instant / donne. En particulier la matrice peut comprendre 2/ + 1 lignes suivant Paxe 
des y et 2m + 1 colonnes suiyant Taxe des x (en coordonnees cartesiennes), I et m etant des 
nombres entiers petits. Avantageusement on choisit / et m parmi les puissances de 2, / etant egal a 
2 a et m a 2 b , a et b etant des nombres entiers de Tordre de 2 a 5 par exemple. Pour simplifier le 
dessin et Implication, on prend, a titre d'exemple, m = / (bien qu'ils puissent etre differents) et 
m = / = 2 5 = 8 ; dans ce cas la matrice 21 aura 2x8+1 = 17 lignes et 17 colonnes. 

Sur la Fig. 4 on a represent une partie des 17 lignes Y 0 , Y u ... Y !S . Y, 6 et une partie des 
17 colonnes Xo, X J( ... X l5 .Xi 6 constituant la matrice 21 de Tunite 17. 

II s'agit de repartir suivant la matrice 21 a / + 1 lignes, en particulier 17 lignes, et 
m + 1 colonnes, en particulier 17 colonnes, les flux entrants des DPijt et COij,, c'est-a-dire des 
signaux binaires de depassement DP et des signaux numeriques d'amplitude representant la 
constante de temps CO, qui arrivent de Tunite 15 de traitement temporel, suivant une distribution 
matricielle plus etendue pour une trame, a savoir de L lignes, en particulier 3 12,5, et M pixels par 
ligne, en particulier de Tordre de 250 a 800 suivant le standard TV utilise. 

Pour distinguer les deux matrices a savoir celle du signal video de L x M et celle de 
Tunite 17 de /x/ji, referencee 21, on utilisera les indices / ety suivant les deux coordonnees de la 
premiere (qui n'apparait que lorsqu'on visualise sur un ecran de televiseur ou moniteur le signal 
video numerique) et les indices x ety suivant les deux coordonnees de la seconde (representee sur 
la Fig. 4) ; a un instant donne, un pixel de valeur instantanee Ply, est caracterise a l'entree de 
Tunite de traitement spatial 17 par deux signaux numeriques DP^ et CO yt . La matrice du L x M 
de ces deux signaux se deplace par balayage a travers la matrice 21 de (2/ + 1) x (2m + 1) 
beaucoup plus petite, comme explique ci-apres avec reference a la Fig. 4 t la matrice 21 
materialisant (2/ + 1) x (2m + 1) pixels correspondant a une meme trame. 

Dans cette matrice 21, chaque pixel est defini par un numero d'ordre de ligne compris 
entre 0 et 16 (bornes incluses) pour les lignes Y 0 a Y t6 respectivement et un numero d'ordre de 
colonne compris entre 0 et 16 (bornes comprises) pour les colonnes Xo a Xi 6 respectivement, 
dans le cas oil /=/?; = 8, soit 21 + 1 = 2m + 1 = 17. Dans ce cas la matrice 21 realisera une 
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representation dans le plan de 17 x 17 = 289 pixels, alors que la matrice du signal video 
comportera plusieurs dizaines ou centaines de milliers des pixels ou meme d'avantage. 

Sur la Fig. 4, on a illustre par des rectangles allonges horizontaux Y 0 a Y )6 , dont 
seulement quatre ont ete representes, a savoir Y 0 , Y,. Y| 5 et Y, 6 , et par des lignes verticales Xo a 
Xi6, dont seulement quatre ont ete representees, a savoir Xo, X|. Xu et X !6 , cette matrice 21 (de 
I'unite 17) a 17x17 points d'image ou pixels d'indices definis a Intersection d'une ligne 
d'ordonnee et d'une colonne d'abscisse. Par exemple la position de pixel P M est a Intersection 
de la colonne 8 et de la ligne 8, comme illustre sur la figure en e, centre de la matrice 21 . 

Pour realiser la repartition spatiale successive de portions de cette matrice de L x M 
suivant la matrice 21 de (2/ + 1) (2m +1), on associe a I'unite 17 une unite a retards 18 qui 
re<?oit, d'une part, les signaux DP et CO (affectes des indices ijt) et, d'autre part, le signal de pixel 
d'entree S, c'est-a-dire PI (egalement d'indices ijt\ ainsi qu'un signal HP en provenance d'une 
horloge 20 et des signaux de sequence ligne SL et de sequence colonne SC (Fig. 2 et 4). 

Comme represent sur la Fig. 1, le signal S(PI) comporte, en plus des signaux de valeurs 
de pixel tels que a uu <*\.2 constituant une sequence temporelle (trames successives) et des sous- 
sequences spatiales (pixels par lignes dans chaque trame), des signaux de synchronisation ST, SL, 
dont I'unite d'horloge 20 deduit non seulement un signal d'horloge, a la frequence de 13,5 MHz 
par exemple, a savoir un top pour chaque pixel d'une trame video, mais egalement des signaux de 
blanking BL qui rendent non-operatoire Tunite 19 pendant les signaux de synchronisation 
precites. 

En reponse a ces signaux HP et BL en provenance de Phorloge 20 (Fig. 2) Tunite de 
cadencement 19 debite sur Tunite a retards 18 un signal de sequence lignes SL a une frequence 
egale au quotient de 13,5 MHz par le nombre de colonnes par trame, soit par exemple 400, et un 
signal de trame SC dont la frequence est egale au quotient precite 13,5/400 MHz divise par le 
nombre de lignes d'image video, par exemple 312,5, ainsi que HP. 

C'est a partir de ces signaux SL et SC et du signal d'horloge HP que 1'unite 18 assure la 
repartition spatiale ligne par ligne suivant la matrice 21. 

A cet effet les lignes successives Y 0 a Y J6 regoivent les signaux DP et CO : 

- non retardes (ligne Yo) ; 

- retardes d'une periode TP, egale a la duree d'une ligne de trame (ligne YO, 

- retardes de 2TP (ligne Y 2 ), 
et ainsi de suite jusqu'a 

- retardes de 16TP (ligne Y l6 ). 
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Les retards successifs de la duree d'une ligne de trame, savoir TP, sont realises dans une 
cascade de seize circuits a retard r u r 2 . ... r !6 qui desservent les lignes Yi. Y 2 Y J6 
respectivement, la ligne Y 0 etant desservie directement par les signaux DP et CO non retardes en 
provenance de Tunite 15. 

L'ensemble des circuits r l( r x ... r x6 peut etre constitue par une ligne a retard a seize 
sorties, le retard impose par une section quelconque entre deux sorties successives etant constant 
et egal a TP. 

Le defilement de la totalite de la matrice trame de L x M sur la matrice 21 de 
(2/ + 1) {2m + 1 ) est assuree, en ce qui concerne les lignes successives des trames successives par 
roulement, par Tunite de cadencement 19 grace aux signaux SL de sequence lignes, comme suit. 

En ce qui concerne le deplacement par roulement des pixels d'une ligne de la matrice 
d'une trame sur la matrice de 17x17, par exemple de Xo a X J6 sur la ligne Y 0 , elle est realisee 
par une cascade de seize registres a decalage d sur chacune des 1 7 lignes de Yo a Y t6 (soit au total 
16x 17 = 272 registres a decalage) disposes dans chaque ligne entre deux positions successives 
de pixels, soit entre les positions PIoo et PIoi le registre d ou entre les positions PToi et PI02 le 
registre £/ 02 , etc. Chaque registre impose un retard de TS egal a Pecart temporel entre deux pixels 
successifs d'une ligne, grace aux signaux SC de sequence colonne. 

On notera que du fait que les lignes /; , h -.-//7 d'une trame TRi (Fig. I), tant pour S(PI) 
que pour DP et CO, arrivent decalees de TP (duree complete d'une ligne) Tune apres 1'autre a 
Tunite 18 et que celle-ci les distribue avec des retards croissant progressivement de TP sur les 
lignes Y 0> Y\ ... Y n , celles-ci affichent a un instant donne les signaux de DP et CO pour les lignes 
// , I 2 /;- d'une meme portion de trame. 

De meme dans une ligne donnee, telle que //, les signaux de pixels successifs a u , 01.2— 
arrivent decales de TS et les registres a decalage d imposent un retard egalement egal a TS ; il en 
resulte done que les signaux de DP et CO pour des pixels d'une ligne donnee Y 0 a Y i6 de la 
matrice 21, pixels disponibles sur cette ligne, sont conternporains, e'est a dire qu'ils 
correspondent a une meme portion de trame. 

II s'agit done, tant pour les lignes que pour les pixels de ces lignes d'une portion de trame, 
d'un traitement purement spatial, car la matrice 21 affiche, en ses 17x17 positions de pixels, les 
valeurs de DP et CO pour les 17 pixels de chacune des 17 lignes d'une meme matrice du signal 
video numerique S(P1), bien que ces pixels, tels que a uu arrivent successivement ligne par ligne et 
pixel par pixel dans chacune des lignes successives (Fig. 1) dans Tunite 18, de meme que les 
signaux correspondants DP et CO qui sont affiches. 
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Les signaux representatifs des CO et des DP contemporains de la matrice 21 sont 
disponibles, a un instant donne, sur les 16x 17 = 272 sorties des registres a decalage, ainsi qu'en 
amont des 17 registres en tete des 17 lignes, c'est-a-dire des registres cio.u d u ... d ]S .u ce qui fait 
au total 16 x 17+ 17= 17 x 17 sorties pour les 17x17 positions Po.o, Po.i, . . Ps.8 ... P»6.i6 

A Pinterieur de la matrice 21, autour du centre de celle-ct e de coordonnees r = 8, y = 8 
(et c'est pour cela que le nombre de lignes et le nombre de colonnes de la matrice 21 est de 
preference impair : 2/ + t et 2m + 1 respectivement), on peut considerer en particulier une 
petite matrice de 3 lignes et de 3 colonnes dont l'element central de ses 9 elements est justement 
le pixel e de coordonnees x = 8, y = 8. Soit 

a h c 

d e / (M3) 

g h \ 

cette petite matrice, dont l'element central e a ete souligne. 

A cette matrice de 3 x 3 elements, comportant 8 emplacements a, b. c. d % f g, K ' tout 
autour de Telement ou emplacement central e, on peut faire corresponds 8 directions orientees 
partant chacune de Templacement central e et aboutissant a Pun des 8 autres. 

A cet effet, on peut reperer les 8 directions au moyen du code de Freeman illustre sur la 
Fig. 6, les directions etant codees de 0 a 7, a partir de l'axe des r, de 45° en 45°. En code de 
Freeman, les 8 directions orientees possibles numerotees de 0 a 7, sont representables par un 
nombre a 3 bits, car 2 3 = 8, a savoir 8 possibilites. 

Si on reprend la petite matrice precedente M3, les 8 directions selon le code de Freeman a 
partir de la position centrale e sont les suivantes 

3 2 1 

4 t? 0 

5 6 7 

comme explicite sur la Fig. 6. 

Revenant a la matrice 21 de la Fig. 4 a 17x17 points d'image ou pixels, on va exposer 
d'abord comment on y repere une zone en deplacement relatif par rapport a un environnement 
sensiblement immobile dans la scene, observee par la camera video 13 et done representee dans le 
signal numerique video S compose de pixels ?\ lJL et comment on determine la vitesse et la 
direction orientee d'un deplacement effectif par rapport a un environnement sensiblement 
immobile. 



WO 98/05002 



PCT/FR97/01354 



26 

Entre deux trames successives, telles que TR, et TR 2 (Fig. 5), les Ply pixels du signal S 
seront caracterises, en ce qui concerne leur variation entre I'instant t\ (premiere trame) et Finstant 
t 2 (deuxieme trame) par les deux signaux DPy et CO y repartis par balayage suivant la matrice 21 . 

II existe une variation significative de la valeur de pixel en un point de cette matrice si 
DP - 1 pour ce point. Done une zone en deplacement effectif est reperee par la zone de la 
matrice a Pinterieur de laquelle DP = 1 en chaque point. 

En fait on examine simultanement, dans une unite de calcul 17a, a Tinterieur de la matrice 
21 a 17 x 17 emplacements, les differentes matrices carrees emboitees centrees sur e de 
dimensions 15x15, 13x13, 11x11, 9x9, 7x7, 5x5 et 3x3, cette derniere etant la 
matrice M3 precitee. On determine quelle est la matrice parmi celles-ci qui est celle de plus petite 
dimension a posseder des DP = 1 alignes suivant une droite qui determine la direction du 
deplacement de la zone dans laquelle DP = 1 et qui determine une variation de + 1 et - 1 
autour de CO. Pour une variation de + 1 et - 1 autour de CO, il faut que DP = 1 a chaque 
valeur, pour accepter le test. Cest la matrice la plus petite participant au test qui est choisie (ligne 
de plus grande pente). 

Ensuite a Tinterieur de cette zone en deplacement dans une des matrices emboitees, par 
exemple dans la petite matrice M3 de 3x3 elements, on determine si CO varie de chaque cote 
de la position centrale, dans une direction donnee, de + 1 dans une direction orientee et de - 1 
dans la meme direction mais de sens oppose. Par exemple si on a - 1, 0, +1 dans la direction 
(orientee) 1, e'est-a-dire dans les positions g % e f c respectivement de la petite matrice M3, alors le 
deplacement existe dans cette matrice de droite a gauche dans la direction (orientee) 1 du code de 
Freeman (Fig. 6). Bien entendu simultanement dans cette direction de la petite matrice DP = 1 
Plus CO varie de + 1 ou - 1 entre deux positions voisines suivant une direction dans une 
matrice de plus grande taille parmi les matrices emboitees de 3x3 a 15x15, plus la vitesse du 
deplacement est grande. Par exemple si on a - 1, 0, +1 dans la direction orientee I, e'est-a-dire 
g, e, c, dans la matrice de 9x9, referencee M 9 le deplacement sera plus rapide que dans le cas 
ou Ton a - 1, 0, + I dans la matrice M* de 3 x 3 (Fig. 7). 

Du fait que CO est une puissance de 2 et est representee par cette puissance dans les 
modes de realisation preferes, on peut reperer une gamme etendue de vitesses en utilisant 
quelques bits seulement pour la puissance de 2, tout en reperant meme une vitesse relativement 
faible (qu'on peut choisir en augmentant Fecart pour le test ; par exemple - 2, 0, +2 dans la 
matrice M3 de 3 x 3 indique une vitesse deux fois plus faible par rapport a la vitesse 
correspondante a la matrice M3 de - 1 , 0, + 1, et ce pour les memes positions g t e ,c). 
11 y a lieu de prevoir en outre deux tests pour lever les incertitudes : 
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- un premier test choisit la variation la plus forte, c'est-a-dire la constante de temps la plus 
elevee, dans le cas oil Ton a dans une des matrices emboitees, par exemple dans la petite 
matrice M3 de 3x3 elements, des variations de CO suivant plusieurs directions ; 

- un second test choisit, arbitrairement, une direction parmi deux (ou plusieurs) directions 
5 suivant lesquelles la variation de CO est identique, par exemple en choisissant la valeur la plus 

faible du code de Freeman ; en fait un tel cas se produit la plupart du temps lorsque la direction 
(orientee) reelle du deplacement se trouve sensiblement entre deux directions codees 
successives dans le code de Freeman, par exemple entre les directions 1 et 2, ce qui correspond 
a une direction (orientee) pouvant etre notee 1, 5 (Fig. 6), faisant environ 67,5° avec celle de 
10 Taxe des x (direction 0 dans le code de Freeman). 

La determination de la direction orientee et de la vitesse d'une zone en deplacement 
effectif de la maniere qui vient d'etre decrite est realisee par I'unite de calcul 17a (Fig. 4) associee 
a Tunite 17 et qui re^oit les 17x17 sorties precitees de la matrice 21, tant pour CO que pour 
DP (deux sorties de 21, a savoir jo.i et s 0A6 , sont representees). L'unite 1 7a traite les valeurs de 
15 CO et DP pour les matrices emboftees successives et determine d'apres ces valeurs la direction 
orientee (dans le code de Freeman) et la vitesse du deplacement (suivant la matrice a retenir parmi 
les matrices emboitees), en appliquant eventuellement les tests precites. 

Le defilement de la totalite d'une trame du signal video numerique a travers la matrice 21 

a lieu 

20 - d'abord pour le groupe des 1 7 premieres lignes, lignes 1 a 1 7, de la trame : de la gauche vers la 
droite de la trame en considerant le mouvement reiatif, comme illustre pour la trame TR 2 sur la 
Fig. 5 : de la portion TM» a I'extreme gauche, puis TM 2 decalee d'une colonne par rapport a 
TMi et ceci jusqu'a TM M (M etant le nombre de pixels par ligne de trame) a I'extreme droite ; 

- ensuite, de maniere analogue de la gauche vers la droite de colonne en colonne, pour les lignes 
25 2 a 1 8 de la trame ; et 

- ainsi de suite en descendant chaque fois d'une ligne : ligne 3 a 19... jusqu'au dernier groupe en 
bas de la trame, a savoir celui des lignes L - 16 ... L (L etant le nombre de lignes par trame). 

En considerant les Fig. 2 et 4 on voit que les sorties des unites 17, 1 8 et 19, c'est-a-dire de 
I'ensemble de traitements spatial, sont : 
30 - un signal V representant la vitesse du deplacement, d'apres famplitude de la variation 
maximale de CO dans la zone reperee, dont la valeur peut etre par exemple representee par une 
echelle de huit nombres entiers de 0 a 7 si la vitesse est sous la forme numerique de puissances 
de 2, done comporte 3 bits ; 
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- un signal DI representant la direction de ce deplacement, d'apres la direction de cette variation 
maximale, la valeur de Dl pouvant egalement etre representee par une parmi les huit valeurs de 
0 a 7 dans le code de Freeman, done comporter 3 bits ; 

- un signal de validation VL precisant que le resultat pour la vitesse et la direction (orientee) est 
valide, afin de pouvoir distinguer une sortie valide avec V = 0 et Dl = 0, de ('absence de 
sortie due a un incident, ce signal etant soit 1 (sortie valide) soit O (sortie absente) ; done un 
seul bit est necessaire pour VL ; 

- avantageusement un signal CO de constante de temps, done de 3 bits par exemple ; 

- (les 3 ou 4 signaux V, DI, VL et eventuellement CO etant debites par Tunite 17 de traitement 
spatial et son electronique associee) 

- un signal video retarde SR constitue par le signal video d'entree S retarde dans Punite a retards 
18 des 16 durees consecuttves de lignes TR et done de la duree de la repartition du signal S 
dans la matrice 21 de 17x17, de maniere a disposer du signal video numerique contemporain 
de la representation matricielle dans la matrice 21, signal dont le contenu peut etre affiche en 
clair sur Pecran d'un televiseur ou d'un moniteur ; 

- l'ensemble des trois signaux de sortie de l'unite 19, a savoir les signaux d'horloge HP, de 
sequence ligne SL et de sequence de colonne SC. 

Aux matrices rectangulaires emboitees des Fig. 4 et 7, on peut substituer des matrices 
hexagonales emboitees (Fig. 8) ou une matrice en forme de L renverse (Fig. 9). 

Dans le cas de la Fig. 8, les matrices emboitees (dont on n'a represents que les matrices 
MR1 et MR2 les plus centrales) sont toutes centrees sur le point MRO qui correspond au point 
central (en lequel le signal binaire est «0») des matrices M3, M9 de la Fig. 7. L'avantage d'un 
systeme de matrices hexagonales e'est qu'il permet, d'une part, d'utiliser des axes de coordonnees 
obliques, et, d'autre part, une decomposition en triangles ayant des cotes identiques, ce qui 
realise le calcul des vitesses isotropes. 

La matrice de la Fig. 9 est composee d'une seule ligne U et d'une seule colonne C u a 
partir de la case centrale MR„ dans laquelle les deux signaux DP et CO valent respectivement «1» 
pour DP et augmente ou diminue d'une unite pour CO, en cas de deplacement. 

On determine ainsi si la direction du deplacement (relatif) est 
- dans le sens de la coordonnee x : le signal CO est identique dans toutes les cases de la colonne 
C u ,et le signal binaire DP est egal a 1 dans les cases de la ligne U , de Torigine MRo a la valeur 
COu jusqu'a la case ou CO vaut CO u +1 ou - I inclus ; 
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- dans le sens de la coordonneey : le signal CO est identique dans toutes les cases de la ligne L u , 
et le signal binaire DP est egal a 1 dans les cases de la colonne C u , de 1'origine MRu a la valeur 
C0 0 jusqu'a la case ou CO vaut CO u +1 ou - 1 inclus ; 

- ou enfin oblique relativement a x tiy : le signal binaire DP est egal a 1 et CO vaut COu dans les 
cases de U et dans les cases de d, la pente etant determinee par la perpendiculaire a la ligne 
passant par les deux cases dans lesquelles le signal CO u change de valeur d'une unite, le signal 
DP etant toujours egal a 1 . 

Sur la Fig. 9 on a illustre le cas ou DP = 1 et C0 0 change de valeur d'une unite dans deux 
cases particulieres U? et C o5 et indique la pente correspondante P p . 

Dans tous les cas, la vitesse du deplacement est fonction de la case dans laquelte CO 
change de valeur d'une unite. 

Si CO change d'une unite que dans U ou C u , elle correspond a la valeur de la case de 

variation de CO. 

Si CO change d'une unite dans une case de U et dans une case de C u , la vitesse est 
proportionnelle a la distance entre MRu et Ex (intersection de la ligne perpendiculaire a C u -U 
passant par MR« ). 

Le systeme decrit jusqu'a present avec reference aux Fig. 1 a 9 est avantageusement 
complete par un systeme complementaire qui va etre decrit avec reference aux Fig. 11 a 16 pour 
constituer un systeme global 22 illustre sur la Fig. 10, sur laquelle on a represente, d'une part, 
I'ensemble 1 la de la Fig. 2 avec indication des signaux V, Dl, VL, C, SR et composite F (HP, SL, 
SC) envoyes par I'ensemble 1 1 (qui repoit le signal video numerique d'entree S) a I'ensemble 22a 
(qui debite une sortie composite ZH). 

La ligne d'assemblage Z - Z, entre les ensembles 1 la et 22a est illustree sur les Fig. 2, 10 
et 1 1, les sorties de I'ensemble 11a etant connectees aux entrees de I'ensemble 22a suivant Z - Z, 
pour transmettre les signaux precites. 

La sortie de 1'unite 22a et done du dispositif global 22 est constitute par un signal 
composite ZH foumissant Information desiree sur la zone en deplacement relatif de la scene 13a 
surveillee par la camera video 13. 

L'unite complementaire 22a, connectee aux sorties de 1'unite 11a, est illustree sur la 
Fig. 1 1 sous la forme de blocs fonctionnels, en rappelant que cette figure se raccorde suivant la 
ligne Z - Z, (a sa partie superieure) a la Fig. 2 suivant la ligne Z - Z, (a la partie inferieure de 
cette derniere figure). 

L'unite de la Fig. 1 1 constitue essentiellement un dispositif de formation et d'utilisation 
d'hiMocrammes ct elle compone 



WO 98/05002 



PCT/FR97/0I354 



30 

- une micro-ligne bus 23 qui vehicule un certain nombre de signaux numeriques, detailles ci- 
apres ; 

- six blocs ou unites de formation et de traitement d'histogrammes, references 24, 25, 26, 27, 
28, 29, respectivement pour les histogrammes de signaux video numeriques retardes SR, de 
vitesses V, de directions orientees (en code de Freeman) Dl, de constantes de temps CO, de 
premiers axes x(m) et de seconds axes >>(/») ; 

- six blocs ou unites de combinaison lineaire 30, 31, 32, 33, 34, 35 associant leurs entrees en 
provenance du bus 23 pour former chacune un signal de validation V|, V 2 , V?, V 4 , V 5> V 6 pour 
les six blocs 24, 25, 26, 27, 28, 29 respectivement, 30 etant associee a 24, 31 etant associe a 
25, 32 etant associe a 26, 33 etant associe a 27, 34 etant associe a 28 et 35 etant associe a 29 ; 

- un bloc ou unite de zone en mouvement 36 coordonnant les sorties des blocs 28 et 29 pour les 
axesx(/») et><m) ; et 

- un bloc ou unite de changement de repere 37 recevant des signaux x(w) 0 et>{w)o d'orientation 
des axes x{m) et y(m\ ainsi que des signaux d'horloge de pixel HP, de sequence ligne SL et de 
sequence colonne SC (ces trois signaux etant groupes dans le faisceau F des Fig. 2, 4, 10 et 
1 1) en provenance de Funite 19 des Fig. 2 et 4, et formant les signaux x(w)i et></w)i envoyes 
respectivement aux unites 28 et 29. 

Les unites 24, 25, 26, et 27 debitent chacune sa sortie SSR, SV, SDI, SDO sur le bus 23, 
alors que les unites 28 et 29 debitent chacune un signal x(/w) 2 . yim) 2 sur une des deux entrees de 
Funite de zone en mouvement 36, qui combine ces deux signaux en provenance des unites 28 et 
29 et debite en sortie un signal composite xy(m) sur le bus 23. 

Le fonctionnement de chacune des unites 24 a 29 de formation et de traitement 
d'histogramme, qui re$oit en entree, d'une part, un signal de validation V|, V 2 , V ? , V 4 , V 5 ou V 6 
de Funite de combinaison lineaire 30 a 35 associee et, d'autre part, un signal SR, V, DI, CO, 
x(m)i ou y(m)i a traiter, est le meme et c'est pourquoi, on exposera le fonctionnement d'une 
seule de ces unites, a savoir Tunite 25 concernant la formation et le traitement des histogrammes 
de vitesse V, prise a titre d'exemple ; seule la variable traitee est differente pour les autres unites 
analogues 24, 26, 27, 28 et 29, en notant que les differants signaux d'entree pour les six unites 24 
a 29 sont tous des signaux numeriques, ce qui permet une analogie de structure et de 
fonctionnement des ces six unites. 

Sur la Fig. 12, on a represente schematiquement, chacun par son enveloppe, les 
histogrammes 38 et 39, respectivement en x et en y (axes de coordonnees cartesiennes de la 
matrice 21 a 17x17 elements de la Fig. 4), des vitesses V de la zone en deplacement (sur la 
Fig. 14, on a indique les elements tels que Cu C 7 de Thistogramme a enveloppe 38) ; x M et >\i 
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representent les coordonnees en x et en y des maxima des deux enveloppes 38 et 39, 
respectivement, tandis que /. et / s pour Paxe des x et / c et / a , pour Paxe des y representent les 
limites du domaine des vitesses significatives ou interessantes, /. et / c etant les limites inferieures 
et / b et U les limites superieures des portions significatives des histogrammes. 

Les droites verticales L a et U, d'abscisses /. et / b , et les droites horizontals U et L d , 
d'ordonnees U et / d , forment un rectangle qui encadre la zone hachuree 40 de vitesses 
significatives (pour Pensemble des directions x et y\ quelques microzones 41, de vitesses plus 
faibles et dont on ne tiendra pas compte, existant au voisinage de la zone principale 40. 

11 suffit done de reperer les coordonnees des quatre limites A>, L> U et des deux maximas 
x M et >m pour caracteriser la zone de plus grande variation du parametre mis en histogramme, la 
vitesse V dans le cas particuiier considere. C'est cette information concernant V que le bloc 25 
debite en sortie en permanence sur le micro-bus 23. 

De meme les blocs similaires 24, 26 et 27 debitent en sortie en permanence sur ce micro- 
bus 23 ies informations concernant la zone de valeur maximale pour SR, Dl et CO, 
respectivement. 

Enfin les blocs similaires 28 et 29 debitent en sortie en permanence a Punite 36 les 
informations concernant la zone de valeur maximale de x(/w), et y(m) } respectivement, Punite 36 
combinant ces informations d'abscisses et d'ordonnees, references x(m) 2 et></n) 2 respectivement, 
en un signal composite xy(m) qui est envoye par la sortie de Tunite 36 sur le bus 23. 

En definitive le bus 23 vehicule les informations concernant la zone de valeurs maximales 
de SR, V, Dl, CO et xyim), e'est-a-dire x(/w)i et x(/n)2, ce qui permet de determiner Texistence 
d'une zone en deplacement dans la scene observee par la camera video 13, de localiser cette zone 
et d'en determiner la vitesse et la direction (orientee) de deplacement. 

Sur la Fig. 11 on a reference ZH le signal composite de sortie disponible sur le bus 23. Les 
composantes precitees de ce signal ZH peuvent, notamment en ce qui concerne V et Dl, c*est-a- 
dire la vitesse et la direction orientee de la zone en deplacement, etre affichees sous forme 
numerique ou analogique, declencher un signal lumineux et/ou sonore, notamment en cas de 
depassement d'un seuil par la vitesse V, ou bien etre transmis par cable, fibre optique ou voie 
hertzienne aux fins d'utilisation a distance, dans une unite de controle, telle que Punite 10a de la 
Fig. 1 , situe au voisinage ou a distance du dispositif 1 1 selon Tinvention. 

La portion des unites de la Fig. 12 au-dessus du bus 23 sert, a la suite du traitement point 
par point de toute une trame et Tassociation des points d'une trame pour en deduire une valeur 
globale externe, a determiner Pexistence et la localisation d'une zone de la scene observee en 
mouvemem relatif et. en outre, s'il y a effectivement deplacement de cette zone, la vitesse et la 
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direction orientee de ce deplacement. Le reperage dans le plan d'observation de cette zone en 
mouvement relatif suivant deux directions x, y f qui peuvent ne pas etre orthogonales (cas de 
Implication des Fig. 15 et 16 par exemple) est realise par la portion des unites de la Fig. 12 au- 
dessous du bus 23. 

On va maintenant exposer plus en detail, avec reference aux Fig. 12, 13 et 14, la structure 
et le fonctionnement d'un bloc de formation et traitement d'histogramme, tel que 25, et de son 
bloc de combinaison lineaire associe, tel que 3 1 . 

Le bloc 25 (Fig. 13) comporte une portion 25a formant rhistogramme et une portion 25b 
constituant un classifieur pour rhistogramme, ces deux portions fonctionnent sous le controle 
d'un logiciel, materialise en une portion de circuit integre 25c, qui realise 1'extraction des limites 
/*, h, /c, U de rhistogramme (Fig. 1 1). 

Le classifieur 25b alimente, ainsi que les classifleurs des autres blocs de formation et 
traitement d'histogramme 24, 26, 27, 28, 29 (pour ces deux derniers a travers Tunite 36 de 
combinaison en x(m) ety(m) ), le bus 23 et, par Tintermediaire de celui-ci, Funite de combinaison 
lineaire 31 qui re^oit done en parallele des informations de tous les classifleurs des unites 24, 25, 
26, 27, 28, 29 et qui, en fonction de ces informations, debite ou non le signal de validation V 2 a 
Funite 25. 

Grace au logiciel de 25c, le classifieur 25b determine les differentes classes (chacune 
comportant.le meme nombre de valeurs de la vitesse dans le cas envisage) qui definiront 
Fenveloppe telle que 38 ou 39 (Fig. 12). 

Sur la Fig. 14, on a iliustre, suivant Faxe desx, les classes successives Ci, C 2 C„. i, C„ et 
leur enveloppe 38 pour la vitesse V qui sont determinees dans le classifieur 25b. 

Les Fig. 15 et 16 illustrent le role des histogrammes pour x(m) et >{w) formes par les 
unites 28 et 29 et combines dans Funite 36 afin d'obtenir une pente. 

A titre d'exemple on a considere le cas de Tobservation d^une route au moyen d'une 
camera video a sortie numerique embarquee dans un vehicule avec son dispositif selon Tinvention 
associe. 

Sur ia Fig. 15 a represents les deux bords de gauche B g et de droite B<j d'une route R, 
ainsi que les pentes numerotees du 0 a 7 par exemple (suivant une convention autre que le code 
de Freeman) de la projection P x en x(m) realisee par Funite 28 et de la projection P y en y(m) 
realisee par l'unite 29. 

Pour assurer la precision la meilleure en ce qui concerne le bord de droite B d , e'est-a-dire 
une sensibilite maximale des indications, par exemple de vitesse, concernam ce bord, il faut que la 
projection P x ait la pente la plus voisine de la pente optimale P 0 qui est perpendiculaire a B d , en 
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particulier la pente 5 dans la representation de la Fig. 15. La valeur maximale de l'histogramme de 
vitesses sera done obtenue pour la pente 5 determinee par 1'unite 28 (Fig. 1 1). 

Le meme raisonnement s'applique au bord gauche B g en ce qui conceme la pente de la 
projection P y et done du role de I'unite 29. 

L'unite 36 de combinaison des deux pentes optimales fournit rinformation 
d'optimalisation pour l'ensemble des deux bords B«j et B 8 . 

La Fig. 16 illustre 1'application de la determination de la pente optimale P„ de la projection 
P x , prise a titre d'exemple, pour assurer une conduite correcte d'un vehicule Vh en Europe 
continentale a conduite a droite de la route (cas a), au Royaume-Uni a conduite a gauche de la 
route (cas b) et enfin d'un avion Va pour un atterrissage correct au milieu de la piste d'un 
aeroport (cas c). 

Par consequent, pour aider la conduite d'un vehicule terrestre (auto, camion) sur une 
route ou d'un vehicule aerien (avion, navette spatiale) au voisinage d'une piste d'aeroport, le 
dispositif selon I'invention comporte en outre des moyens de representation des bords droit Bd et 
gauche Bg de la route, respectivement de la piste, et des moyens pour orienter au moins un des 
axes, a pente variable, de coordonnees pour qu'il se maintienne sensiblement orthogonal au bord 
correspondant (position Po). 

Jusqu'a present on a surtout decrit, Ies moyens pour determiner une zone en deplacement 
effectif dans un environnement sensiblement immobile, grace au reperage d'une region dans 
laquelle DP = 1. Pour determiner une zone en repos dans un environnement dans l'ensemble en 
mouvement (cas de l'arret d'un vehicule en panne ou d'une collision sur une autoroute par 
exemple), e'est au contraire les zones dans lesquelles DP = 0 qui doivent etre localisees par 
rapport a Penvironnemem pour lequel DP = 1. Bien entendu dans ce cas, les vitesses seront 
nulles dans une zone et la notion de direction n'a pas de signification. Les calculs dans 17a seront 
done differents. 

Le dispositif, selon I'invention, s'il ne doit servir qu'a determiner une zone immobile peut 
etre simplifie avec suppression des unites ou blocs traitant les vitesses et les directions, 
notamment les blocs 25, 26, 31, 32, et reduction du nombre des sorties de I'unite 11a et des 
entrees de I'unite 1 7. 

Dans I'unite d'exploitation 10a du dispositif selon I'invention, on peut prevoir des moyens 
d'affichage, sur ecran de moniteur, des histogrammes et/ou des valeurs des signaux DP ou CO. 

Quant au signal SR, e'est-a-dire le signal video numerique retard^ il est en general 
applique a un televiseur ou moniteur 10 afin de visualiser, localement ou a distance sur Tecran de 
celui-cu ce signal a Tinstant ou un mouvement relatif est signale afin de verifier la nature de ce 
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mouvement relatif. II suffira done d'observer 1'ecran du televiseur ou moniteur 10 uniquement 
lorsqu'une zone en deplacement relatif a ete signalee, par une alarme visuelle et/ou sonore par 
exemple. 

On peut avantageusement faciliter le reperage d'une zone en mouvement relatif sur 1'ecran 
en imposant des couleurs arbitraires au signal video numerique retarde SR, chaque couleur ou 
nuance de couleur representant une vitesse et/ou une direction du mouvement. 

Les differentes unites qui viennent d'etre decrites avec reference aux Fig. 2, 3, 4, 1 1 et 13 
sont realisables chacune par des circuits electroniques de type connu, notamment des 
microprocesseurs effectuant des .calculs et/ou des comparisons ou utilisant : des signaux de 
balayage ; des memoires ; des unites a retards ; des registres a decalage ; des unites formant des 
histogrammes lineaires et associant dans le plan de tels histogrammes ; des microbus. 

La combinaison de ces circuits electroniques en unites 11a et 22a separees ou en un 
ensemble 22 constitue par 11a et 22a peut etre realisee en deux circuits integres ou en un seul 
circuit integre de tres petite dimension, de Tordre de 10 mm x 10 mm par exemple en 
technologie 0,7 u.m, 1'ensemble des deux unites integrees interconnects ou le circuit integre 
unique etant connecte par son entree a la sortie video numerique d'une camera video ou autre 
dispositif d'observation et par leurs sorties a un ou plusieurs dispositifs d'utilisation sur place ou a 
distance. Dans une variante si on met en oeuvre seulement le dispositif simplifie de i'unite 11a, 
ce!ui-ci, de preference sous la forme d'un circuit integre unique, est dispose entre ladite sortie 
numerique et un ou plusieurs dispositifs d'utilisation sur place ou a distance. 

On va donner maintenant a litre d'exemples, nullement limitatifs, des applications 
supplemental d'un dispositif selon l'invention, notamment du dispositif selon les Fig. 1 et 10, 
e'est-a-dire selon Tensemble des Fig. 2 et 11 raccordees suivant la ligne Z - Z\ 

Une premiere application supplemental, illustree sur la Fig. 17, est constitute par le 
cadrage automatique d'une personne se depla<?ant dans une piece, par exemple dans le cadre 
d'une videoconference. Le cadrage automatique permet d'eliminer les mouvements de la personne 
se depla$anu ce qui accroit la definition de Timage de cette personne observee par une camera 
video a sortie numerique et aussi, en cas de compression du signal video numerique, simplifie 
cette compression. 

Sur la Fig. 17, on retrouve la camera video 13 qui observe la personne P pouvant se 
deplacer. Le signal video numerique S de la camera video est non seulement transmis par cable, 
fibre optique ou voie hertzienne a un ecran de televiseur ou moniteur 10b, mais egalement re<;u 
par le dispositif 1 1 selon Tinvention, dont la sortie ZH agit sur une unite 42 qui, en reponse aux 
sienaux repus du dispositif 1 1 concernant la localisation et le deplacement de la personne P, 
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commande les moteurs 43 de la camera 13 pour diriger Paxe optique de la camera vers la 
personne, notamment son visage F, en fonction de la localisation de son mouvement et de la 
vitesse et de la direction de celui-ci et eventuellement pour agir sur le reglage du zoom, de la 
distance focale et/ou de la mise au point de la camera en cas d'avance ou du recul de la personne 
P. 

On peut aussi commander le suivi par au moins un spot lumineux d'un personnage (acteur, 
chanteur) sur une scene, le dispositif selon 1'invention centrant le personnage au centre de Pimage 
par deplacement de rorientation de la camera video et commandant la direction du spot, par 
exempie par un ou deux miroirs orientables, pour chaque spot. 

Une autre application, donnee a titre d'exemple, du dispositif selon invention est illustree 
sur la Fig. 18 sur laquelle on retrouve la camera 13 ou autre dispositif d'observation qui debite un 
signal video numerique S dans un dispositif 1 1 selon invention. Dans cette application, la camera 
13 surveille une portion d'autoroute afin de detecter Tarret inopine d'un vehicule, en particulier 
sur la bande d'arret d'urgence, ou un arret de voiture a la suite d'une collision. 

II s'agit done dans ce cas de determiner l'immobilite d'un objet (le vehicule) dans un 
environnement en deplacement (les autres vehicules), e'est-a-dire de localiser dans la matrice 21 a 
17 x 17 elements la zone dans laquelle DP = 0. Normalement la camera 13 observe un flot des 
vehicules qui produisent des reponses DP = 1, avec des valeurs de vitesse et de direction de 
deplacement. Par contre, si un vehicule s'arrete, il est signale par une reponse DP = 0 dans sa 
zone d'observation 

Une unite 44 recevant ZH, ainsi que SR, detecte I'apparition d'une zone dans laquelle 
DP = 0 dans ZH et debite en sortie un signal d'anomalie NL qui, d'une part, declenchc une 
alarme sonore et/ou lumineuse dans un dispositif 45 et, d'autre part, commande un commutateur 
46 qui applique le signal video S (ou plutot le signal video retarde SR) sur l'ecran d'un televiseur 
ou moniteur 10 qui permet au surveillant, alerte par I'alarme sonore et/ou visuelle, d'observer 
Tautoroute a Tinstant ou un vehicule s'arrete ou de collision afin de pouvoir prendre les mesures 
necessaires, par exempie suivant la reaction de conducteur du vehicule qui s'est arrete. 

Grace a Tinvention, dans un poste de surveillance, un surveillant peut facilement controler 
un grand nombre de tron^ons sur une autoroute (ou une route) dans chacun desquels est dispose 
une camera 13 et un dispositif 1 1 selon Tinvention, les sorties ZH et SR de chaque dispositif 1 1 
etant transmises par cable, fibre optique ou voie hertzienne a un seul poste de surveillance ou se 
trouve une unite commune 44 ; en eflfet I'observateur n'a besoin de regarder Tecran de 10 qu'en 
cas d'incident ou accident, signale par Talarme, et il est rare que plusieurs incidents et/ou 
arridpnt<; en Hoc emplacement* different*; *e produisent simultancment. 
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En particulier Punite 44 peut comporter, en entree, un commutateur de type rotatif (non 
represente) envoyant successivement et cycliquement les signaux ZH (et SR) des differents 
ensembles 13-11 disposes !e long de Pautoroute sur la portion de cette unite 44 produisant le 
signal NL. 

Le meme systeme permet de deceler non seulement, comme indique, P arret, ou la collision 
entrainant un arret de vehicules, mais egalement un ralentissement du flot des vehicules (en cas de 
circulation tres ralentie) par diminution de la vitesse dans les differentes zones dans lesquelles 
D = 1 et inversement un vehicule a vitesse excessive, la vitesse dans une zone observee depassant 
alors la vitesse limitee autorisee. 

Enfin sur la Fig. 19 on a illustre une autre application de Pinvention, a savoir a 
Interaction homme - machine, le deplacement de la main M, ou plus particulierement des doigts 
DG, a Pimerieur d'une surface SF decomposed en rectangles par un systeme de coordonnees C x 
et C ? . 

Une camera video 13 a sortie numerique associee a un dispositif 1 1 selon Pinvention, tel 
qu'illustre sur la Fig. 1, permet de reconnaltre le mouvement d'une main M et des doigts DG et 
de Putiliser pour controler un ordinateur (a la maniere d'une «souris») ou pour commander 
certaines fonctions dans une machine. Par exemple Tensemble 13-11 pourrait servir a un sourd- 
muet, utilisant le code standard du langage des sourds-muets a base de mouvements des mains, 
pour entrer en ordinateur des donnees alphanumeriques, done un texte, sans avoir a utiliser le 
clavier habituel ; cette operation peut, bien entendu etre egalement effectuee par une personne 
parlante, ayant appris le langage des sourds-muets, afin d'entrer un texte en ordinateur sans avoir 
a utiliser un clavier. Un tel systeme n'est pas sensible aux ecarts temporels et n'exige pas une 
signalisation precise du debut et de la fin du geste. 

Les Fig. 20 et 21 illustrent schematiquement Papplication de Finvention a la surveillance 
d'un conducteur automobile afin de signaler rendormissement de celui-ci. 

La camera video 13 est dans ce cas placee contre la portion de carrosserie a Pinterieur du 
vehicule, au-dessus du retroviseur par exemple, et observe le conducteur. 

L'operation preliminaire consiste a cadrer celui-ci comme dans le cas de Papplication de la 
Fig. 17. Sur la Fig. 20, on a represente symboliquement Pimage 1C du conducteur sur Pecran 
video. On supprime d'abord les portions inutiles de droite et de gauche (hachures horizontals de 
Pimage et on se limite ainsi a la portion centrale de Pimage entre ces deux portions. 

Ensuite dans cette portion centrale ii sufTit de surveiller la zone non hachuree AA de la 
Fig. 21 dans laquelle est cadree la tete. 
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Les emplacements interessants qui sont detectes par le dispositif selon Pinvention sont 
constitutes par les clignements des paupieres du conducteur (signales par des mouvements 
verticaux dans la zone AA) dont la cadence se modifie en preliminaire a Pendormissement. Si la 
cadence ou et la vitesse de ces clignements devient inferieure a un certain seuil, une alarme sonore 

5 est declenchee et le conducteur est reveille. 

Sur la Fig. 22, on a indique un moyen pour pallier, lorsque cela est necessaire, au nombre 
limite de bits p representatifs de la constante de temps CO pour permettre de prendre en compte 
une plus large gamme de vitesses de deplacement. 

A cet effet on prevoit Putilisation du diagramme de Mallat (voir article de S. Mallat 

10 «A Theory for multiresolution signal decomposition)) in IEEE Transactions on Pattern Analysis 
and Machine Intelligence, Juillet 1989 p. 674-693). qui consiste a decomposer successivement la 
totalite de Pimage video en moitie successives, reperees 1, 2, 3, 4, 5, 6, 7. On realise ainsi une 
compression en ne traitant que des portions d'images. On peut ainsi avec p = 4, e'est-a-dire 
2 P = 16 determiner une vitesse dans une gamme plus etendue. 

15 Si au debut, dans le cadre de Pimage totale, le dispositif selon invention indique que la 

vitesse de Pobjet (au sens large) mobile depasse la vitesse maximale determinable avec 2 P = 16 
pour la constante de temps, il suffit de passer successivement par les images partielles observees 
1, 2, 3, 4,... jusqu'a ce que la vitesse de Pobjet mobile ne depasse pas ladite vitesse maximale dans 
le cadre de Pimage partielle apres compression. 

20 Pour mettre en oeuvre la composition de Mallat par ondelettes, il suffit d'intercaler sur le 

schema de la Fig. 1 une unite 13A (illustree sur la Fig. 22) qui realise cette compression du signal 
video. Cette unite peut par exemple etre constitute par le composant «ADV 601 Low Cost 
Multiformat Video Codec» de la societe americaine ANALOG DEVICES faisant Pobjet de la 
notice «ADV 601 Preliminary Data Sheet» de Janvier 1996. Sur la Fig. 2, une telle unite de 

25 compression optionnelle 13a. 

Enfin sur les Fig. 2 et 3, on a indique sur certains microbus le nombre de bits (1, 3 (dans le 
cas oil p = 3), 8, 15) vehicules, ce qui montre Peconomie de taille possible pour les differents 
blocs fonctionnels ayant a traiter un nombre reduit de bits. 

On voit en definitive que Pinvention permet de detecter un mouvement relatif dans une 

30 scene observee par un dispositif optoelectronique, tel qu'une camera video, qui transmet la scene 
observee sous la forme d'un signal video numerique constitue par une succession de trames, elles- 
memes constitutes par une succession de lignes composees d'une succession de pixels, ce signal 
numerique etant analyse afin de reperer une zone en deplacement relatif, avec indication de la 
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vitesse et de la direction (orientee) de ce deplacement si la zone est en mouvement effectif par 
rapport a un environnement sensiblement immobile. 

Etant donne que le dispositif selon Pinvention determine la direction orientee et la vitesse 
de deplacement d'un objet (au sens le plus large), on peut lui adjoindre des moyens pour deduire 
de ces deux parametres une position future de Pobjet a un instant determine et des moyens pour 
orienter d'avance la camera video d'entree 13 sur cette position future. 

II y a lieu de noter que les resultats obtenus avec le dispositif selon invention n'exigent 
nullement que la camera soit immobile, ce qui permet d'embarquer la camera et le dispositif 
associe sur un vehicule terrestre, aerien ou nautique (pour la mise en oeuvre du precede illustre 
sur la Fig. 16 par exemple). 

Apres une tres courte periode d'initialisation egale a N (de Pordre de moins de dix trames 
successives correspondantes), le dispositif selon Pinvention determine les parametres du 
deplacement relatif instantanement apres la fin de chaque trame ayant subi les traitements 
temporel et spatial, du fait de la recursivite des calculs selon Pinvention. 

On a decrit un mode de realisation prefere du dispositif selon Pinvention et quelques 
applications de celui-ci. Bien entendu ce mode de realisation et ces applications ont ete donnes a 
titre d'exemples non Hmitatifs et de nombreuses variantes et adaptations, qui apparaitront 
facilement a Phomme de Tart, peuvent etre envisagees sans sortir du cadre de Pinvention tel que 
defini dans les revendications ci-apres. 

On pourrait par exemple mettre en oeuvre des moyens d'utilisation des signaux debites par 
Punite 1 1 de la Fig. 2 autres que ceux illustres sur la Fig. 1 1 sans s'ecarter de Pinvention. 

Quant aux applications d'un dispositif selon Pinvention, elles ne sont nullement limitees a 
celles donnees a titre d'exemple dans la description precitee. Ainsi un montage analogue a celui de 
la Fig. 17 peut etre associe directement a un camescope pour le stabiliser relativement aux 
deplacements causes par les mouvements involontaires de Putilisateur. 

On peut egalement utiliser un ou, de preference, plusieurs dispositifs, selon Pinvention, 
associes respectivement a un ou, de preference, plusieurs camescopes a sortie video numerique 
places dans une piece d'immeuble pour constituer une «piece intelligente» grace a un tel systeme 
permettant de detecter et localiser la presence et le mouvement d'une ou plusieurs personnes dans 
la piece, d'analyser ce mouvement, aux fins de securite, d'identification et/ou pour aider dans les 
taches a accomplir, par exemple, ou a surveiller des enfants dans une autre piece ou les clients 
d'un supermarche. 

On a suppose essentiellement Putilisation d'un signal video a paires de trames entrelacees 
successives. notamment lors de la discussion de la capacite de la memoire 16, avec traitement des 
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deux trames d*une paire dans le dispositif selon Invention. 11 est toutefois possible de n'utiiiser 
quVne trame sur deux (ttmpaire par exemple) en reduisant la capacite de la memoire, mais avec 
reduction de moitie environ de la vitesse detention des informations desirees. 11 est egalement 
possible de mettre en oeuvre une camera video ou autre dispositif d'observation dont la sortie 
numerique ne comporte qu'une seule trame par image. 

11 est possible, dans certaines applications d'associer, au dispositif selon Tinvention, des 
capteurs specialises, par exemple un ou plusieurs capteurs deceleration, pour pouvoir traiter des 
parametres supplementaires du deplacement. 

Bien entendu Tinvention n'est pas limitee aux modes de realisation particulieres ni aux 
applications decrits, mais elle en embrasse toutes les variantes et modifications entrant dans la 
definition generate de Tinvention. 
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REVINDICATIONS 

1. Procede, en temps reel, pour le reperage et la localisation (Tune zone en mouvement relatif 
dans une scene observee par un systeme d'observation a sortie constitute par un signal video 
numerique du type comportant une succession de trames correspondantes, chacune composee 
d'une succession de lignes, composees chacune d'une succession de pixels, ainsi que pour la 
determination de la vitesse et de la direction orientee du deplacement, ledit procede etant 
caracterise en ce qu'il consiste a efFectuer sur le signal video numerique de sortie 
successivement : 

- un traitement de lissage dudit signal video numerique de sortie mettant en oeuvre une 
constante de temps numerique dont la valeur numerique peut etre modifiee pour chacun des 
pixels dudit signal de sortie, independamment pour chacun d'entre eux ; 

- une mise en memoire d'une trame dudit signal de sortie apres le lissage, d'une part, et de la 
constante de temps de lissage associee a la dite trame, d'autre part ; 

- un traitement tempore! consistant, pour chaque position de pixel, a determiner P existence, 
d'une part, et P amplitude, d'autre part, d'une variation significative de P amplitude du signal 
de pixel entre la trame actuelle et la trame juste anterieure lissee, mise en memoire, et a 
generer deux signaux numeriques, le premier signal etant un signal binaire ou monobit a 
deux valeurs possibles dont Tune represente Pexistence d'une telle variation significative et 
I'autre 1'absence d'une telle variation entre deux trames successives, la valeur dudit signal 
binaire modifiant la valeur memorisee de ladite constante de temps afin de la diminuer si 
ledit signal represente une variation significative et afin de Paugmenter si ce signal 
respectivement ne represente pas une telle variation , la diminution ou P augmentation etant 
realisee d'une maniere quantifiee, tandis que le second signal numerique, dit d'amplitude, 
est un signal multibits a nombre limite de bits, quantifiant Pamplitude de cette variation ; et 

- un traitement spatial consistant, pour chaque trame de signal video numerique d'entree, 

• a repartir, afin de caracteriser les valeurs des pixels, en une matrice a nombre de lignes et 
nombre de colonnes reduits, par rapport respectivement au nombre de lignes et au 
nombre de pixels par ligne dans le signal video, uniquement les valeurs, au meme instant 
d 'observation, pour une fraction des pixels d'une trame - fraction qui defile par balayage 
a travers ladite matrice pendant la duree d'une trame - dudit signal binaire, d'une part, et 
dudit signal numerique d'amplitude, d'autre part, 

• a determiner, dans cette double representation matricielle instantanee, une zone 
particularisee. dans laquelle a la fois ledit signal binaire a la valeur recherchee 
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representant la presence, ou respectivement Pabsence, de variation significative et ledit 
signal numerique d'amplitude varie, ou respectivement ne varie pas, d'une valeur 
significative entre pixels voisins dans la matrice suivant une direction orientee a partir 
d'un pixel d'origine, et ceci pour une meme portion de trame, done a un meme instant 
d'observation, et 

• a engendrer des signaux representatifs de Pexistence et de la localisation de la zone en 
deplacement relatif, ainsi que la vitesse relative intertrames et la direction orientee de ce 
deplacement, s'il existe, relativement a son environnement, a partir de la repartition 
matricielle instantanee de ces deux signaux numeriques, binaire et d'amplitude 

2. Procede selon la revendication 1, caracterise en ce qu'il consiste, en outre, 

• a former les histogrammes des valeurs des signaux repartis matriciellement d'une part, et 
les histogrammes des valeurs des inclinaisons de deux axes, a pente variable, de 
coordonnees dans un plan, d' autre part, 

• a reperer, dans chaque histogramme forme, un domaine de variation significative de la 
valeur traitee et 

• a deduire, de chaque domaine repere, Pexistence et la localisation, ainsi que la vitesse et 
la direction orientee, d'une zone en mouvement relatif 

3. Procede selon la revendication 1 ou 2, caracterise en ce que ladite matrice est une matrice 
carree a meme nombre impair (2/ + 1) de lignes et de colonnes, et que Ton considere les 
matrices emboitees de 3x3, 5x5, 7x7, ... (21 + 1) x (2/ + 1) elements centrees sur le 
centre de cette matrice carree afin de determiner la matrice embohee de plus petite taille dans 
laquelle ledit signal numerique varie dans une direction orientee a partir dudit centre, la valeur 
dudit signal binaire representant un depassement du seuil selon cette direction. 

4. Procede selon la revendication 1 ou 2, caracterise en ce que ladite matrice est une matrice 
hexagonale et que Ton considere les matrices hexagonales emboitees de taille croissante 
centrees sur le centre de cette matrice hexagonale afin de determiner la matrice embohee de 
plus petite taille dans laquelle ledit signal numerique varie dans une direction orientee a partir 
dudit sommet, la valeur dudit signal binaire representant un depassement du seuil selon cette 
direction. 

5. Procede selon les revindications 1 ou 2, caracterise en ce qui ladite matrice est une matrice en 
L renverse a une seule ligne et une seule colonne et en ce que Ton considere les matrices 
emboitees de 3x3 pixels, 5x5 pixels, 7x7 pixels,.. (2/ + 1) x (2/ + 1) pixels, pour la 
ligne et la colonne uniques, afin de determiner la matrice de plus petite taille dans laquelle le 
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signal varie dans une direction orientee, a savoir la ligne de plus grande pente a quantification 
constante. 

6. Procede Tune quelconque des revendications precedentes, caracterise en ce que ladite 
constante de temps est de la forme 2 P , p etant un nombre inferieur a 16, pouvant done etre 
exprime par pas plus de 4 bits, la diminution ou l'augmentation de la constante de temps etant 
realisee par la soustraction ou r addition d'une unite a p. 

7. Procede selon la revendication 6, caracterise en ce que Ton considere des portions successives 
decroissantes de trames completes suivant ralgorithme temps - echelle de Mallat et selectionne 
la plus grande de ces portions, qui donne des indications de deplacement, vitesse et orientation, 
compatible avec la valeur de p. 

8. Dispositif fonctionnant en temps reel, pour le reperage et la localisation d'une zone en 
mouvement relatif dans une scene observee par un systeme d'observation a sortie constitute 
par un signal video numerique, du type comportant une succession de trames correspondantes, 
des lignes successives dans chaque trame correspondante et des pixels successifs dans chaque 
ligne, ainsi que pour la determination de la vitesse et de la direction oriente de ce deplacement, 
par mise en oeuvre du procede selon la revendication 1, le dispositif recevant, en entree, ledit 
signal video numerique de sortie, caracterise en ce qu'il comporte en combinaison : 

- des moyens de Hssage (15) dudit signal video numerique de sortie mettant en oeuvre une 
constante de temps numerique (CO) dont la valeur numerique peut etre modifiee pour 
chacun des pixels dudit signal de sortie, independamment pour chacun d'entre eux ; 

- des moyens de memorisation (16) d'une trame dudit signal de sortie apres lissage (LI), 
d'une part, et de la constante de temps de lissage (CI) associee a ladite trame, d'autre part ; 

- une unite de traitement temporel (15) pour analyser les variations temporelles de 
Tamplitude du signal de pixel, pour une meme position de pixel, entre la trame actuelle et la 
trame juste anterieure lissee, mise en memoire, dudit signal video numerique, ladite unite 
comportant, en association avec une memoire apte a recevoir, stocker et restituer des 
informations relatives a la trame correspondante precedente lissee, des moyens de 
comparison (15a) pour determiner, pour chaque position de pixel dans la trame du signal 
video entrant, si la valeur absolue de la difference entre le signal de pixel actuel et une 
valeur representative du signal de pixel, pour la meme position de pixel, dans la trame 
anterieure, valeur representative stockee dans ladite memoire, depasse ou non un seuil, en 
generant un signal binaire ou monobit (DP) a deux valeurs, dont Tune represente Texistence 
d'un depassement et dont 1'autre represente Tabsence d'un depassement, et des moyens de 
calcul (15c) aptes a determiner un signal numerique d'amplitude multibus, a nombre reduit 
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de bits, dont la valeur est fonction de Pamplitude de la variation de la valeur du meme pixel 
entre la trame actuelle et la trame juste anterieure lissee, mise en memoire, du signal video 
numerique ; et 

- un ensemble de traitement spatial (11), dont les entrees re$oivent, de Punite de traitement 
temporel, lesdits signaux binaire et numerique d'amplitude successifs pour les pixels d'une 
meme trame, ladite unite comportant des moyens aptes a caracteriser les valeurs 
d'amplitude des pixels, ces moyens repartissant, suivant une matrice (21) a nombre de lignes 
et nombre de colonnes reduits par rapport respectivement au nombre de lignes et au nombre 
de pixels par ligne dans une trame dudit signal video numerique, afin de caracteriser les 
valeurs des pixels uniquement lesdits signaux binaire et numerique d'amplitude relatif a un 
meme instant, c'est-a-dire a une meme trame, celle-ci defilant par balayage a travers ladite 
matrice pendant la duree d'une trame, des moyens de reperage pour determiner, dans ladite 
matrice, une zone de pixels dans laquelle, a cet instant, le signal binaire a la valeur 
recherchee et des moyens pour determiner, dans ladite matrice, une zone de pixels dans 
laquelle, a ce meme instant, le signal numerique d'amplitude varie d'une quantite 
significative entre pixels voisins, et des moyens qui, en reponse aux indications des deux 
derniers moyens precedents, generent des signaux representatifs de cette zone de pixels, 
done de 1'existence et de la localisation d'une zone en mouvement relatif dans la scene 
observee, ainsi que de la vitesse relative intertrames et de la direction orientee de cette zone 
lorsqu'elle se deplace effectivement relativement a son environnement. 

9. Dispositif selon la revendication 7, caracterise en ce que P ensemble de traitement spatial 
(17, 18) comporte des premiers moyens de retard (r) en cascade dont chacun impose un retard 
egal a Pecan temporel entre deux lignes successives et des seconds moyens de retard (d) en 
cascade pour chaque ligne imposant chacun un retard egal a Pecan temporel entre deux pixels 
successifs d'une ligne, les sorties de chacun desdits seconds moyens de retard {</) et Pentree de 
la cascade desdits seconds moyens de retard (</) de chaque ligne debitant a un instant donne les 
valeurs dudit signal binaire et dudit signal numerique d'amplitude, a un meme instant, vers 
lesdits moyens de reperage (17a). 

10. Dispositif selon la revendication 8, ou 9, caracterise en ce qu'il comporte egalement des 
moyens (24 - 29) formant les histogrammes des valeurs de sortie de ladite unite de traitement 
spatial, ainsi que les histogrammes des inclinaisons de deux axes, a pente variable, de 
coordonnees dans un plan, des moyens pour reperer, dans chaque histogramme, un domaine de 
variation significative de la valeur traitee, afin de valider ce domaine en leur sortie et de 
deduire. pour Pensemble des histogrammes, des signaux de sortie qui signalent et localisent 
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une zone de la scene observee en mouvement relatif, si el!e existe, ainsi que !a vitesse et la 
direction orientee de ce mouvement si ladite zone se deplace effectivement par rapport a son 
environnement. 

11. Dispositif selon la revendication 8, 9, ou 10, caracterise en ce lesdits moyens de lissage (15c, 
15d) component une entree qui resoit ledit signal video numerique S(PI) et calculent, pour les 
pixels successifs d'une trame de ce signal video, un signal lisse (LO), dans lequel les variations 
temporelles du signal video numerique d'entree sont diminuees, par mise en oeuvre d'un signal 
de seuil (N) re$u sur une autre entree et d'une constante de temps (CO) relative a chaque 
position de pixel d'une trame, dont la valeur est successivement modifiee afin que le lissage 
conserve, tout en la reduisant, la tendance de variation du signal video numerique entrant, ces 
moyens de lissage cooperant avec Tunite de memoire (16) qui re^oit, stocke et restitue les 
valeurs actualisees, pour chaque portion de pixel d'une trame, du signal lisse et de ladite 
constante de temps et debitent, sur leurs sorties, au moins la succession, pour chaque position 
de pixel, des valeurs de la constante de temps actualisee et des valeurs d'un signal binaire de 
depassement ou non-depassement dudit seuil par la valeur absolue de la difference entre la 
valeur du pixel et sa valeur lissee. 

12. Dispositif selon Tune quelconque des revendications 8 a 1 1, caracterise en ce que ladite unite 
de traitement spatial (17, 18) realisant la repartition matricielle, par lignes et par colonnes en 
nombre reduit, des sorties desdits moyens de lissage, a savoir des valeurs successives de la 
constante de temps (CO) et dudit signal binaire, comporte des moyens de reperage (17a) pour 
reperer, dans ladite repartition matricielle, une zone de pixels dans laquelle, a la fois, soit la 
valeur dudit signal binaire correspond a un depassement de seuil et ladite constante de temps 
varie entre pixels voisins d'une valeur significative dans une direction, et pour produire des 
signaux de sortie indiquant la localisation de ladite zone et la vitesse et la direction orientee du 
deplacement dans ladite zone, soit la valeur dudit signal binaire correspond a un non- 
depassement du seuil et ladite constante de temps ne varie pas entre pixels voisins. 

13. Application du dispositif selon la revendication 10, 11 ou 12, pour aider la conduite d'un 
vehicule terrestre sur une route, respectivemem d'un vehicule aerien au voisinage d'une piste 
d'aeroport, caracterise en ce que ie dispositif comporte en outre des moyens de representation 
des bords droit Bd et gauche Bg de la route, respectivemem de la piste, et des moyens pour 
orienter au moins un des axes, a pente variable, de coordonnees pour qu'il se maintienne 
sensiblement orthogonal au bord correpondant (position P 0 ). 
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REVENDICATIONS MODIFIEES 

[regues par le Bureau International le 16 janvier 1998 (16.01,98); 
revendications 1-13 remplacges par les revendications 1-14 modifi§es (10 pages)] 

1. Procede, operant en temps reel, pour le reperage et la 
localisation d'une zone en mouvement relatif dans une scene observee 
par un systeme d'observation a sortie constitute par un signal video 
5 numerique du type comportant, d'une maniere classique, une succession 
de trames correspondantes de meme nature, chacune compos6e d'une 
succession de lignes, composees chacune d'une succession de pixels, 
ainsi que pour la determination de la Vitesse et de la direction orientee 
du mouvement de deplacement relatif , ledit proced6 
10 consistant a effectuer sur ledit signal video numerique 

successivement 

- un traitement temporel qui consiste, pour chaque position de 
pixel, a determiner la difference entre I'amplitude du' signal de pixel dans 
la trame actuelle et I'amplitude d'un signal de pixel representatif de ses 

15 valeurs dans les trames anterieures, et 

- un traitement spatial, qui consiste, pour chaque trame dudit 
signal video numerique, a repartir, en une matrice a nombre de lignes et 
nombre de colonnes reduits par rapport respectivement au nombre de 
lignes et au nombre de pixels par ligne dans ledit signal video 

20 numerique, uniquement les valeurs, au meme instant d'observation, pour 
une fraction des pixels d'une trame - fraction qui defile par balayage a 
travers ladite matrice pendant la duree d'une trame -, des signaux 
representatifs des variations des valeurs de pixels et a deduire, a partir 
de ('ensemble des representations matricielles relatives a un instant 

25 d'observation donne, c'est-&-dire d une trame donn6e dudit signal video 
ou numerique, la localisation d'une zone eventuelle en mouvement relatif 
et I'estimation de ce mouvement s'il existe, 
et etant caracterisee en ce que 

- il comporte un double traitement preliminaire consistant en 
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• un lissage adaptatif dudit signal video numerique en mettant en 
oeuvre une constante de temps numerique dont la valeur numerique, 
pour chacun des pixels dudit signal video numerique et 
independamment pour chacun d'eux, est modifiee en reponse a la 

5 variation ou non variation temporelle de la valeur du pixel, et 

• a une mise en memoire d'une trame entiere dudit signal de sortie 
apres lissage t d'une part, et de ladite constante de temps pour 
chaque position de pixel de ladite trame, d'autre part; 

- ledit traitement temporel consiste, pour chaque position de pixel, 
10 a determiner I'existence, d'une part, et I'amplitude, d'autre part, d'une 
variation significative eventuelle de I'amplitude du signal de pixel entre la 
trame actuelle et la trame juste anterieure lissee, mise en memoire, et a 
generer deux signaux numeriques , le premier etant un signal binaire, 
done monobit, a deux valeurs possibles dont la premiere represente 
is I'existence d'une telle variation significative et la seconde I'absence 
d'une telle variation significative entre les deux dites trames actuelle et 
juste anterieure lissee, la valeur dudit signal binaire modifiant la valeur 
memorisee de ladite constante de temps pour le pixel en cause afin 
respectivement de la diminuer si ledit signal binaire a ladite premiere 
20 valeur et de I'augmenter si ledit signal binaire a ladite seconde valeur, la 
diminution ou ('augmentation etant realisee d'une maniere quantifiee, 
tandis que le second signal numerique, dit d'amplitude, est un signal 
multibits, a nombre limite de bits, quantifiant I'amplitude, de cette 
variation; et 

25 - ledit traitement spatial consiste, pour chaque trame dudit signal 

video de sortie, 

• a repartir, en ladite matrice et pendant la duree d'une trame, ledit 
signal binaire, d'une part, et ledit signal numerique d'amplitude, d'autre 
part, 
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a determiner, dans cette double representation matricielle instantanee 
dudit signal binaire et dudit signal numerique d'amplitude pour le meme 
pixel, une zone particularisee, dans laquelle a la fois ledit signal binaire a 
la valeur recherchee representant la presence, ou respectivement 
5 I'absence, de variation significative et ledit signal num§rique d'amplitude 
varie, ou respectivement ne varie pas, d'une valeur significative entre 
pixels voisins dans ladite matrice suivant une direction orientee a partir 
d'un pixel d'origine, et ceci pour une meme portion de trame, done a un 
meme instant d'observation, et 
io • a engendrer des signaux repr6sentatifs de I'existence et de la 
localisation de la zone de deplacement relatif eventuel, de la valeur de 
la vitesse relative inter-trames et de la direction orientee parmi 
plusieurs directions orientees possibles dans le plan d'observation, de 
ce deplacement relatif eventuel, dans son environnement, a partir de 
is ladite repartition matricielle instantanee de ces deux signaux, binaire 
et d'amplitude. 

2. Procede selon la revendication 1, caracterise en ce qu'il 
consiste, en outre: 

• a former les histogrammes des valeurs des signaux repartis 
20 matriciellement, d'une part, et les histogrammes de valeurs des 

inclinaisons de deux axes, a pente variable, de coordonnees dans un 
plan, d'autre part, 

• a reperer, dans chaque histogramme forme, un domaine de variation 
significative de la valeur traitee et 

25 • a deduire, de chaque domaine rep6re, I'existence et la localisation, 
ainsi que la vitesse et la direction orientee, d'une zone en mouvement 
relatif. 

3. Procede selon la revendication 1 ou 2, caracterise en ce que 
ladite matrice est une matrice carr6e £ meme nombre impair (21 + 1) de 



FEUILLE MODIFIEE (ARTICLE 19) 



WO 98/05002 



PCT/FR97/01354 



iignes et de colonnes, et que Ton considere les matrices emboitees de 3 
x 3, 5 x 5, 7 x 7, ...(2/ + 1) x (2/ + 1) elements centrees sur le centre de 
cette matrice carree afin de determiner la matrice emboitee de plus 
. petite taille dans laquelle ledit signal num6rique varie dans une direction 
5 orientee £ partir dudit centre, la valeur dudit signal binaire repr6sentant 
un depassement du seuil selon cette direction. 

4. Procede selon la revendication 1 ou 2, caracterise en ce que 
ladite matrice est une matrice hexagonale et que Ton considere les 
matrices hexagonales emboitees de taille croissante centrees sur le 

io centre de cette matrice hexagonale afin de determiner la matrice 
emboitee de plus petite taille dans laquelle ledit signal numerique varie 
dans une direction orientee a partir dudit sommet, la valeur dudit signal 
binaire representant un depassement du seuil selon cette direction. 

5. Procede selon les revendications 1 ou 2, caracterise en ce que 
15 ladite matrice est une matrice en L renverse a une seule ligne et une 

seule colonne et en ce que Ton considere les matrices emboitees de 3 x 
3 pixels, 5x5 pixels, 7x7 pixels.. ..(2/ + 1) x (2/ + 1) pixels, pour la ligne 
et la colonne uniques, afin de determiner la matrice de plus petite taille 
dans laquelle le signal varie dans une direction orientee, a savoir la ligne 
20 de plus grande pente a quantification constante. 

6. Procede selon Tune quelconque des revendications 
precedentes, caracterise en ce que ladite constante de temps est de la 
forme 2 P , p etant un nombre inferieur a 16, pouvant done etre exprime 
par pas plus de 4 bits, la diminution ou ('augmentation de la constante de 

25 temps etant realisee par la soustraction ou Taddition d'une unite a p. 

7. Procede selon la revendication 6, caracterise en ce que Ton 
considere des portions successives decroissantes de trames completes 
suivant I'algorithme temps - echelle de Mallat et selectionne la plus 
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grande de ces portions, qui donne des indications de deplacement, 
vitesse et orientation, compatible avec la valeur de p. 

8. Dispositif, fonctionnant en temps reel, pour le reperage et la 
localisation d'une zone en mouvement relatif dans une scene observ6e, 
5 ainsi que pour la determination de la vitesse et de la direction orientee 
du mouvement de deplacement relatif, par mise en oeuvre du proc6de 
selon la revendication 1, 
comportant: 

- un systeme d'observation a sortie constitute par un signal video 
io numerique du type comportant, d'une maniere classique, une succession 

de trames correspondantes de meme nature, chacune composee d'une 
succession de lignes, composees chacune d'une succession de pixels, 

- un ensemble de traitement temporel determinant, pour chaque 
position de pixel, la difference entre I'amplitude du signal de pixel dans la 

is trame actuelle et I'amplitude d'un signal de pixel representatif de ses 
valeurs dans les trames anterieures, 

- un ensemble de traitement spatial qui, pour chaque trame dudit 
signal video numerique, repartit en une matrice a nombre de lignes et 
nombre de colonnes reduits par rapport respectivement au nombre de 

20 lignes et au nombre de pixels par ligne dans ledit signal video 
numerique, uniquement les valeurs, au meme instant d'observation, pour 
une fraction des pixels d'une trame - fraction qui defile par balayage a 
travers ladite matrice pendant la duree d'une trame des signaux 
representatifs des variations des valeurs de pixels, et qui deduit, a partir 

25 de I'ensemble des representations matricielles relatives a un instant 
d'observation donne, c'est-a-dire £ une trame donnee dudit signal video 
numerique, la localisation d'une zone eventuelle en mouvement relatif et 
I'estimation de ce mouvement s'il existe, 
et 6tant caracterisee en ce qu'il comporte en combinaison: 



FEUILLE M0D1FIEE (ARTICLE 19) 



WO 98/05002 



PCT/FR97/01354 



50 

- des moyens de lissage adaptatif (15) dudit signal video 
numerique en mettant en oeuvre une constante de temps numerique 
(CO) dont la valeur numerique, pour chacun des pixels dudit signal video 
numerique et independamment pour chacun d'eux, est modifiee en 

5 reponse a la variation ou non variation temporelle de la valeur du pixel; 

- des moyens de memorisation (16) pour une trame enttere dudit 
signal de sortie apres lissage (LI), d'une part, et de ladite constante de 
temps pour chaque position de pixel de ladite trame, d'autre part; 

- dans I'ensemble de traitement temporel (15), 

io • des moyens de comparaison (15) pour determiner I'existence, d'une 
part, et I'amplitude, d'autre part, d'une variation significative eventuelle 
de Tamplitude du signal de pixel entre la trame actuelle et la trame 
juste anterieure lissee, mise en memoire, et pour g6nerer un premier 
signal numerique (DP) , qui est un signal binaire, done monobit, a 

1 5 deux valeurs possibles dont la premiere represente ('existence d'une 
telle variation significative et la seconde I'absence d'une telle variation 
significative entre les deux dites trames actuelle et juste anterieure 
lissee, la valeur dudit signal binaire modifiant la valeur memorisee de 
ladite constante de temps pour le pixel en cause afin respectivement 

20 de la diminuer si ledit signal binaire a ladite premiere valeur et de 
I'augmenter si ledit signal binaire a ladite seconde valeur, la 
diminution ou ('augmentation 6tant realisee d'une maniere quantifiee, 
et 

• des moyens de calcul (15c) aptes a g6nerer un second signal 
25 numerique (CO), dit d'amplitude t qui est un signal multibits, a nombre 
iimite de bits, quantifiant I'amplitude de cette variation; et 

- dans I'ensemble de traitement spatial (11), dont les entrees 
repoivent de ladite unite de traitement lesdits signaux numeriques, 
binaire et d'amplitude, successifs pour les pixels d'une meme trame: 
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• des moyens pour repartir, en ladite matrice (21) et pendant la duree 
d'une trame, ledit signal binaire, d'une part, et ledit signal numerique 
d'amplitude, d'autre part, 

• des moyens pour determiner, dans cette double representation 
5 matricielle instantanee dudit signal binaire et dudit signal numerique 

d'amplitude pour le meme pixel, une zone particularisee, dans laquelle 
a la fois ledit signal binaire a la valeur recherchee representant la 
presence, ou respectivement I'absence, de variation significative et 
ledit signal numerique d'amplitude varie f ou respectivement ne varie 
10 pas, d'une valeur significative entre pixels voisins dans ladite matrice 
suivant une direction orientee a partir d'un pixel d'origine, et ceci pour 
une meme portion de trame, done a un meme instant d'observation, et 

• des moyens pour engendrer des signaux representatifs de Texistence 
et de la localisation de la zone de deplacement relatif eventuel, de la 

15 valeur de la Vitesse relative inter-trames et de la direction orientee 
parmi plusieurs directions orientees possibles dans le plan 
d'observation, de ce deplacement relatif eventuel, dans son 
environnement, a partir de ladite repartition matricielle instantanee de 
ces deux signaux, binaire et d'amplitude. 
20 9. Dispositif selon la revendication 8, caracterise en ce que 

I'ensemble de traitement spatial (17, 18) comporte des premiers moyens 
de retard ( r ) en cascade dont chacun impose un retard egal a I'ecart 
tempore! entre deux lignes successives et des seconds moyens de 
retard (d) en cascade pour chaque ligne imposant chacun un retard egal 
25 a I'ecart temporel entre deux pixels successifs d'une ligne, les sorties de 
chacun desdits seconds moyens de retard (d) et I'entree de la cascade 
desdits seconds moyens de retard (d) de chaque ligne d6bitant a un 
instant donne les valeurs dudit signal binaire et dudit signal numerique 
d'amplitude, a un meme instant, vers lesdits moyens de reperage (17a). 
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10. Dispositif selon la revendication 8 ou 9, caracterise en ce qu'il 
comporte egalement des moyens (24-29) formant !es histogrammes des 
valeurs de sortie de ladite unite de traitement spatial, ainsi que les 
histogrammes des inclinaisons de deux axes, a pente variable, de 

5 coordonnees dans un plan, des moyens pour reperer, dans chaque 
histogramme, un domaine de variation significative de la valeur traitee, 
afin de valider ce domaine en leur sortie et de deduire, pour I'ensemble 
des histogrammes, des signaux de sortie qui signalent et localisent une 
zone de la scene observee en mouvement relatif, si elle existe, ainsi que 
io la vitesse et la direction orientee de ce mouvement si ladite zone se 
deplace effectivement par rapport a son environnement. 

11. Dispositif selon la revendication 8, 9 ou 10, caracterise en ce 
que lesdits moyens de lissage (15c, 15d) comportent une entree qui 
report ledit signal video numerique S (PI) et calculent, pour les pixels 

15 successifs d'une trame de ce signal video, un signal lisse (LO), dans 
lequel les variations temporelles du signal video numerique d'entree sont 
diminuees, par mise en oeuvre d'un signal de seuil (N) re$u sur une 
autre entree et d'une constante de temps (CO) relative a chaque position 
de pixel d'une trame, dont la valeur est successivement modifiee afin 

20 que le lissage conserve, tout en la reduisant, la tendance de variation du 
signal video numerique entrant, ces moyens de lissage cooperant avec 
I'unite de memoire (16) qui re?oit, stocke et restitue les valeurs 
actualisees, pour chaque position de pixel d'une trame, du signal lisse et 
de ladite constante de temps et debitent, sur leurs sorties, au moins la 

25 succession, pour chaque position de pixel, des valeurs de la constante 
de temps actualisee et des valeurs d'un signal binaire de depassement 
ou non-depassement dudit seuil par la valeur absolue de la difference 
entre la valeur du pixel et sa valeur lissee. 
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12. Dispositif selon Tune quelconque des revendications 8 3 11, 
caracterise en ce que ladite unite de traitement spatial (17, 18) realisant 
la repartition matricielle, par lignes et par colonnes en nombre reduit, des 
sorties desdits moyens de lissage, a savoir des valeurs successives de 
5 la constante de temps (CO) et dudit signal binaire, comporte des moyens 
de reperage (17a) pour reperer, dans ladite repartition matricielle, une 
zone de pixels dans laquelle, a la fois, soit la valeur dudit signal binaire 
correspond a un depassement de seuil et ladite constante de temps 
varie entre pixels voisins d'une valeur significative dans une direction, et 
io pour produire des signaux de sortie indiquant la localisation de ladite 
zone et la vitesse et la direction orientee du d6placement dans ladite 
zone, soit la valeur dudit signal binaire correspond a un non- 
depassement du seuil et ladite constante de temps ne varie pas entre 
pixels voisins. 

is 13. Application du dispositif selon la revendication 10, 11 ou 12, 

pour aider la conduite d'un vehicule terrestre sur une route, 
respectivement d'un vehicule aerien au voisinage d'une piste d'aeroport, 
caracterise en ce que le dispositif comporte en outre des moyens de 
representation des bords droit Bd et gauche Bg de la route, 

20 respectivement de la piste, et des moyens pour orienter au moins un des 
axes, a pente variable, de coordonnees pour qu'il se maintienne 
sensiblement orthogonal au bord correspondant (position Po). 

14. Application du dispositif selon Tune quelconque des 
revendications 1 a 12, pour surveiller l'6tat de vigilance du conducteur 

25 d'un vehicule automobile, afin de detecter une tendance eventuelle a la 
somnolence de celui-ci, consistant a: 

- generer un signal video numerique representant 
• initialement les images successives de la face du conducteur et 
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• ensuite, d'une maniere continue et en temps reel, les images 
successives de seulement les yeux du conducteur; 

- traiter ledit signal video relatif seulement aux yeux, du 
conducteur afin de, successivernent et en temps reel, 

5 • detecter, dans lesdites images de seulement les yeux, les 
mouvements verticaux des paupieres representant le clignement de 
celles-ci, 

• determiner les cadences successives de ces mouvements et 

• detecter les cadences qui sont inferieures a un seuil de clignement 
io des paupieres qui correspond a la transition entre l'6tat eveille et Tetat 

de somnolence du conducteur, et 

- declencher un signal d'alarme apte a alerter le conducteur des 
que lesdites cadences franchissent ledit seuil. 
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DECLARATION SELON (/ARTICLE 19 

Pour mieux se distinguer du brevet US N° 5.488.430 cite dans la 
categorie X contre !es revendications 1 et 8 anterieures, la demanderesse 
depose un nouveau jeu de revendications, avec de nouvelles 
revendications 1 et 8 dans lesquelles on a plac6 dans le preambule avant 
les mots « caracterise en ce que » I'admission que ce brevet US prevoit un 
traitement tempore! de comparaison entre trame actuelle et des trames 
anterieures et un traitement spatial avec une matrice defilante. 

Dans la partie caracterisante, on a laisse les caracteristiques 
nouvelles et inventives de la presente demande de brevet a savoir: 

- une double operation prealabie de 

• lissage adaptatif avec mise en oeuvre d'une constante de temps pour 
chaque pixel qui est modifiee en fonction des variations du signal de 
pixel, et 

• memorisation et utilisation de la trame enttere anterieure et des 
constantes de temps pour I'ensemble d'une trame; 

- la mise en oeuvre, dans le traitement tempore!, de deux signaux 
numeriques, Tun binaire de variation DP et I'autre d'amplitude CO; et 

- la mise en oeuvre, dans le traitement spatial, de ces deux signaux 
binaires defilant en simultane, et par roulement, dans la matrice, pour 
representer revolution du signal vid6o num§rique representant la scene 
observee; 

ceci permet d'obtenir, d'une part, une determination relativement precise, et 
non simplement une evaluation, de la vitesse de deplacement et, d'autre 
part, la determination de la direction orientee du deplacement selon de 
nombreuses directions orientees du plan et non pas seulement selon les 
directions Ox et Oy. 
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